职位描述
1.负责设计和开发分布式爬虫系统，进行多平台多终端信息的抓取和分析；
2.建立完整的数据获取、解析、入库和监控流程，优化系统瓶颈，不断迭代完善；
3.有验证码破解、反扒、分布式爬虫架构经验；
4.研究优化算法，提升爬虫系统的稳定性和可扩展性；
5.快速支撑产品所需数据落地；
任职要求：
1.3年以上工作经验，计算机、电子、数学、统计学等相关专业及本科以上学历；
2.python语言基础扎实，熟练使用python，熟悉linux对应的开发环境
3.熟悉反扒机制；
4.精通爬虫原理、熟悉scrapy、pyspider等框架；
5.熟悉mysql,mongodb等数据库
6.能够熟练使用flask，Tornado等Web框架开发，会用numpy,pandas等数据分析工具为加分项
7.优秀的分析、解决问题能力，对未知的、挑战性问题充满激情
8.人品正直，有原则，有一颗奋斗拼搏的心。