职位描述
世贸通周末双休,节假日休息,不加班,公司工作氛围非常nice。世贸通作为宁波外贸综合服务领域排名第二的企业,服务客户超2万余家,全年进出口服务规模达到15亿美金,是宁波外贸百强企业,详情荣誉可以点公司主页查看。期待你的投递和加入。
岗位名称:AI工程师(爬虫)
岗位职责:
1.负责数据采集/爬虫系统的架构设计、开发与持续优化,构建高可用、可扩展的分布式系统。
2.研究并优化爬虫算法与调度策略,设计并实施动态防屏蔽机制,以提升抓取效率与系统稳定性。
3.负责web、APP或小程序数据的抓取、解析、清洗、去重、分类及质量识别,确保数据质量。
4.建立系统实时监控体系,快速定位并解决数据异常、反爬升级等链路问题,保障数据采集的可靠性。
5.深入理解业务场景,主动挖掘数据需求,并能将业务需求转化为标准化的技术方案,提供从采集到分析的数据闭环支持。
岗位要求:
1.具备分布式或规模性爬虫系统的相关经验。
2.熟练掌握 Python或 Java至少一门语言,熟悉 Scrapy、Feapder等主流爬虫框架,熟悉selenium、playwright、drissionpage等主流自动化框架。
3.熟悉 Web 前端技术,能处理动态页面渲染、JS 逆向及加解密。
4.熟悉 MySQL、MongoDB等数据库。
5.具备成熟的反爬虫对抗经验,熟悉瑞数系列、阿里系列等一些技术优先。