职位描述
核心职责:
设计和开发高性能的数据采集、解析、存储和分析系统
构建能够处理每秒数万条消息的实时数据处理管道
参与设计分布式、高可用的大数据处理架构,支持PB级数据存储和处理监控系统性能指标,及时发现和解决性能瓶颈
参与系统容灾和故障恢复方案的设计与实施
持续优化系统架构,提升数据处理能力和系统稳定性
任职要求 :
计算机相关专业本科及以上学历
3年以上开发经验,至少2年大数据处理项目经验
精通Apache Kafka、Apache Spark、Apache Flink等流式数据处理框架
掌握时间序列数据库(如InfluxDB、TimescaleDB)或列式数据库(如ClickHouse)
熟悉Redis、Elasticsearch等高性能存储和检索系统
熟悉Zookeeper、Consul等分布式协调服务
精通MySQL、MongoDB等数据库的设计和优化
了解Docker、Kubernetes容器化部署技术
加分项
有实时流数据处理项目的完整开发和上线经验
有高并发、高可用系统设计和优化经验
了解ADSB数据格式和航空数据处理流程
有航空电子、雷达数据或位置数据处理经验
熟练使用Spring Boot、Spring Cloud、MyBatis等框架