职位描述
岗位职责
1、负责基于大数据平台的数据采集、清洗、画像、分析、指标加工等开发工作，完成技术文档编写
2、负责日常数据探索、数据统计、数据分析等工作
3、具备一定的数据洞察力、严谨的逻辑思维能力，善于分析、归纳、解决问题，了解数据分层理论，并能量化数据建模。
任职要求
1、熟悉linux，熟练使用java开发语言，具有数据仓库或大数据平台建设和开发经验，对数据ETL、数据加工、数据治理等有丰富实战经验者优先；
2、熟练使用MQTT、Kafka等数据传输、数据同步框架；熟练springboot应用开发；
3、熟悉大数据套件，具备flink/spark流批引擎的任务开发，熟悉HDFS/对象存储，具备hiveSQL/SparkSQL/FlinkSQL等语法至少一种，熟悉kafka/pulsar等消息引擎，数据大数据Hive/Clickhouse/Doris等OLAP分析引擎；