职位描述
编程与大数据技术：
编程语言： 精通 SQL 和至少一门高级编程语言，如 Python（常用）、Java 或 Scala。
大数据框架： 熟悉 Hadoop, Spark 生态系统，能够处理海量数据。
数据库知识： 深入理解并具备数据仓库经验，熟悉 OLAP 数据库。了解常见的NoSQL数据库。
数据管道与集成：
ETL/ELT： 熟练掌握ETL/ELT流程的设计、开发和维护。
工作流调度： 熟悉使用 Airflow, DolphinScheduler 等工具进行任务编排和监控。
云平台与系统架构：
云服务： 熟悉至少一家主流云平台的数据服务，如 AWS, Azure, 或阿里云 的相关产品。
系统设计： 了解数据湖、数据仓库等数据架构理念，能够设计和构建可扩展的数据平台。