职位描述
任职资格:
1、3年以上相关工作经验,有数据中心搭建及数据架构规划并落地成功案列,在一线互联网公司或知名科技公司经验者优先;
2、精通离线和实时数据处理流程,掌握离线数据处理框架hive、impala、spark-sql等,掌握实时数据处理常用技术工具,包括Storm、SparkStreaming等;
3、熟悉大数据技术生态圈,精通大数据技术架构,有大数据平台构建经验;
4、掌握常见数据流接入工具,包括Flume、kafka等;
5、熟练掌握基本的Linux操作系统和某种脚本语言编程(如Shell等);
6、掌握一种或以上处理语言,如JAVA、SCALA、PYTHON等;
7、有3年以上实际大规模数据(TB级以上)处理经验;
8、熟悉BI分析工具,熟悉各种图表应用的场景,具备从图表信息洞察业务规律和特点的能力可加分
9、熟悉机器学习算法与工具的可加分
岗位职责:
1、负责具体项目的总体技术的规划架构与设计
2、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施、负责关键技术点攻坚工作和技术推广;
3、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;
4、负责建立和维护大数据平台技术标准规范,指导开发人员编写代码.