职位描述
岗位工作明细:
1、负责猎芯采集系统的建设,
2、负责页面的抓取采集,处理网络数据抓取规划、汇总,具备搭建数据采集平台,建立爬虫系统,对数据的抓取、解析、调度、存储、维护等开发工作。
3、研究和破解各种反爬机制
4、负责采集系统的长期优化工作
任职资格:
1、本科及以上学历,3年以上python开发经验
2、熟悉python主流开发框架,熟悉tonado,有akamai、datadome、perimeterx 、cloudflare反爬经验优先(熟悉其中之一即可)
3、熟悉和了解Linux 、MongoDB、Redis、RabbitMQ的使用
4、了解和熟悉页面采集原理。。