一、岗位工作职责
1.负责数据源的采集、清洗、转换及集成，确保数据的完整性和准确性。参与多种业务数据的建模和数据内容的开发与迭代；
2.基于数据中台进行大数据的处理和开发，编写高效的数据处理逻辑，确保数据的高效传输与存储；
3.基于数据治理方案，开展数据质量监控，进行数据清洗和数据标准化管理，确保数据仓库中的数据可靠、准确，能够支撑公司多样化的业务分析需求；
4.与产品及业务团队密切协作，理解并转化业务需求，设计合理的数据模型、数据挖掘模型和数据内容产品；
5.参与数据治理、数据产品与应用开发，挖掘数据价值；
6.参与数据运维工作，包括技术运营、数据答疑、数据作业运维；
7.负责平台计算集群的全生命周期管理，涵盖部署、监控、容量规划、版本升级与架构演进；
8.建立完善的资源管理与调度体系，优化GPU/CPU计算资源的分配效率和利用率，支撑大规模分布式训练和推理任务稳定运行。
9.建立完善的集群监控告警与指标体系，实现对集群健康度、组件性能及业务作业的实时可观测性，具备在复杂故障场景下的快速定位与恢复能力；
10.主导平台性能优化与成本治理工作，包括计算资源调度调优（YARN）、存储生命周期管理（HDFS/对象存储）、计算引擎（Spark/Flink）参数优化及作业级资源管控；
11.设计并实施大数据平台的容灾备份、数据安全与权限管控方案，确保数据合规性及跨可用区/跨区域的服务连续性；
12.推动运维自动化建设，通过 Ansible/Python/Go 等工具开发自动化运维脚本与平台功能，提升集群操作效率与标准化水平。

二、岗位任职要求
1.本科及以上学历，数据科学、计算机、统计、数学等与数据处理相关专业，1年以上工作经验；
2.熟练使用Scala、Python或Java中的至少一门语言进行数据开发，精通SQL及查询性能优化；
3.熟悉Hadoop生态相关技术并有相关实践经验，包括Hdfs、Mapreduce、Hive、Spark、Kafka、Flink等，有流式计算相关项目开发经验；
4.具备实时数仓建设经验，熟悉Doris、ClickHouse等实时OLAP引擎；
5.深入了解常用的数据建模理论，具有丰富的数据模型设计及ETL开发经验，可独立把控数据仓库各层级的设计；
6.对数据敏感，有较强的逻辑分析能力，有丰富的数据处理和分析经验，有复杂业务和算法的数据平台建设经验优先；
7.熟悉主流的数据治理方法论，具备数据治理相关项目实施经验，有CDGA、CDMP或大数据开发等相关认证者优先；
8.熟悉主流厂商数据中台产品，有百度EDAP、BMR等相关平台数据开发经验优先；
9.工作认真负责，有良好的团队合作精神和沟通能力。