职位描述:
我们正在寻找一名热爱数据挖掘和信息收集的爬虫工程师加入我们的团队。作为一名爬虫工程师,你将负责设计、开发和维护各种爬虫程序,并使用这些程序从互联网上提取所需的数据。你需要具备扎实的编程技能和对互联网技术的深刻理解,能够快速地适应不同的平台,系统和数据源。
岗位职责:
1. 负责设计和开发高效、可靠的爬虫系统,进行多平台,多渠道的信息抓取和分析工作。
2. 分析和优化现有的爬虫程序,提高其性能和稳定性。
3. 解决爬虫,防爬的技术疑难问题,应对不同的爬虫及防爬方案,提升数据抓取的效率和质量。
4. 根据需要撰写相关文档和技术报告,分享技术经验和心得体会。
岗位要求:
1. 本科及以上学历,在计算机科学、软件工程或相关领域拥有扎实的基础知识。
2. 具备至少3年的爬虫开发经验,能够独立完成爬虫程序的设计和开发,熟悉爬虫原理和常见的反爬技术。
3. 精通Python编程语言,熟悉其相关框架和库,如Scrapy、Requests、Pandas等。
4. 熟悉常见的web技术,如HTML、CSS、JavaScript等,了解网络协议和数据格式,熟悉常见的加解密及混淆加固算法。
5. 熟悉并使用各种爬虫工具和技术,如Scrapy、Beautiful Soup、Selenium等。
6. 具有良好的数据分析和处理能力,能够对大量数据进行清洗、挖掘和分析。
7. 具备良好的团队合作精神、沟通能力和自我驱动力,能够快速适应多变的项目需求。
8. 掌握app加固,脱壳等能力者优先。