职位描述
岗位职责:
1、负责大数据应用产品的平台搭建、架构优化、技术迭代和开发维护,提供稳定的大数据平台服务;构建数据存储、数据挖掘、数据计算及数据服务于一体的大型分布式数据平台;
2、负责软件设计、开发,产品技术管理等工作,提供技术维护和解决方案,进行技术团队建设和人员的技术培养。
2、根据业务需求提出最优的技术解决方案,并搭建实时、离线数据处理框架;
3、负责解决项目上线后生产环境的实际问题,保障大数据平台在生产上的安全平稳运行;
4、梳理和定义大数据研发流程,保障数据质量和交付质量;
5、负责整理和沉淀技术文档,指导下级开发人员。
职位要求:
1、本科及计算机相关专业,5年以上大数据开发经验,优秀数据建模能力,硕士学历更佳;
2、精通Java/Python其中一种语言;
3、 熟悉 Hadoop技术平台的生态圈:Hdfs,Yarn,Hive,HBase,Kudu,Impala,Kafka等;
4、熟悉Spark Streaming,Flink流计算;
5、熟悉数据库技术(MySQL等)和数据仓库原理,能够设计实时数据、离线数据处理架构并搭建实现框架;
6、具备良好的团队协作能力和分享精神,具有较强的问题分析能力和解决能力;