职位描述
1.根据迭代需求，协同爬虫业务分析，完成各爬虫需求的开发和自测工作。
2.研究并分析目标网站的反爬机制，设计策略规避限制，如IP代理池、模拟用户行为等；定期更新爬虫策略，保持对复杂反爬机制的适应性。
3.持续完善和调优各种爬虫任务的监控告警，包括技术指标监控和业务指标监控。
4.及时响应处理各种爬虫任务监控告警，按要求解决恢复
经验要求：
1、计算机相关专业本科及以上学历，有2年以上爬虫开发经验。
2、精通Python语言，至少熟练掌握主流爬虫框架中的一种；
3、熟悉常见反爬机制，验证码识别，IP代理池、应用Ip池、js逆向、headers认证和cookie等；
4、有处理大规模数据的经验，对分布式爬虫有实际操作经验者优先。
5、良好的问题解决能力，善于沟通和团队合作，喜欢研究新技术，能够在压力下工作。