职位描述
岗位职责:
1、负责数据库Doris集群的部署;
2、负责基于Hadoop/Hive/Spark/Flink构建企业级离线/实时数据仓库,支撑PB级数据存储与计算;
3、设计并优化ETL流程,实现多源异构数据(如MySQL、ORACLE、Kafka)的清洗、转换与加载;
4、参与数据中台架构设计,开发数据服务接口(如RESTful API)供业务系统调用;
5、诊断并解决Flink实时作业出现问题,通过调整并行度或优化算子逻辑提升吞吐量;
6、保障数据中台稳定运行,实现自动巡检与实时告警,报表需求闭环管理,保证业务正常使用;
7、实现数据库性能优化和高可用、灾备设计方案。
任职要求:
1、本科及以上学历,计算机科学或相关专业,有3-5年行业工作经验;
2、精通Java/Scala/Python其中一项,熟悉Linux环境及Shell脚本编写。
3、深入理解Hadoop生态(HDFS、YARN、Hive、Spark、Flink),掌握MapReduce/DAG计算模型
4、具备百万级TPS场景调优经验。
5、精通帆软FineReport/FineBI,熟悉其数据集、参数、模板等核心功能,掌握DolphinScheduler架构,熟练使用。
6、熟悉Oracle/MySQL/Hive等数据库,具备SQL调优能力(如索引优化、执行计划分析)。
7、主导过至少1个PB级数据仓库建设项目,有Spark SQL优化实战经验,能通过执行计划分析解决数据倾斜问题,熟悉Doris/ClickHouse等OLAP引擎,具备列式存储优化经验。