职位描述
一、职位描述：
1、分布式爬虫系统的架构设计与开发；
2、负责多平台信息的抽取、去重、分类、解析、增量；
3、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；
4、能独立解决实际开发过程碰到的各类问题；
二、任职要求：
1、1年以上相关工作经验，扎实的Python基础，熟悉Web爬虫，掌握反爬虫技术；
2、掌握常见爬虫库和框架，如requests、Scrapy、Selenium等，有实际项目经验；
3、熟悉基于正则表达式、Xpath，CSS选择器等网页信息抽取技术，和动态页面JS解密等常见反爬破解；
4、熟悉使用redis、mysql等流行数据库；
5、有良好的学习和理解能力，编码规范和习惯，以及设计、开发和文档编写能力；
6、有电商系统、后台爬虫经验者优先考虑；
7、熟悉高并发、设计模式、数据结构和算法优先考虑。