职位描述
职责描述:1.负责大数据平台的搭建和功能开发;
2.负责大数据平台数据清洗、转换、建模的开发工作;
3.负责制定数据建模、数据处理、数据运维和数据安全等架构规范并落地实施;
4.撰写所承担功能模块的设计说明书、开发说明书、测试与部署文档等。
任职要求:1.计算机相关专业本科及以上学历;
2.有大数据平台工具及组件的使用经验;
3.熟悉主流数据库中的1种及以上,精通SQL、存储过程,有较好的SQL性能调优经验;
4.熟悉常用数据仓库解决方案,有业界常用的ETL工具使用经验。有数据存储和数据检索经验。
5.熟悉Hadoop、HDFS,MapReduce,Hive等开源分布式系统;
6.精通或熟悉一种以上编程语言,如Python,C/C ,Java,Perl,Golang或其它;
7.对机器学习有一定了解,比如一些统计分析知识和基础数据建模;
8.具有良好的逻辑思维能力,善于学习,与团队沟通无障碍;
9.有相关行业数据ETL经验优先;
10.有持续学习的能力,喜欢开源软件,乐于知识分享,对工作认真负责,可以独立承担较大工作压力;