岗位职责： 1、负责数据开发与治理平台的设计、开发与持续优化，推动数据存储组件云原生化，支持 PB 级别数据存储需求。 2、积极探索并应用 Data Agent 及其他基于 AI 大模型的大数据开发治理解决方案，推动智能化数据治理场景的落地。 3、推动 JuiceFS 在 AI 和大数据场景中的应用与落地，基于 JuiceFS 构建存算分离的大数据平台架构。 4、深入研究并落地数据湖相关技术，开展行业趋势调研、技术选型及组件存算分离架构的设计与实现。 5、负责数据建模、离线与实时数据开发、数据治理等大数据治理平台核心模块的设计、开发与维护。 6、负责多模态数据加工处理，包括结构化与非结构化数据的统一元数据存储与统一加工，提升数据治理平台的多样性和智能化能力。 任职资格： 1、本科及以上学历，5 年及以上大数据领域工作经验，具备丰富的大数据治理平台研发背景。 2、具备 Data Agent 或其他基于 AI 大模型落地数据治理场景的实际经验者优先。 3、精通 Java/Python 编程语言，熟悉 Spring Boot 等主流服务端开发框架，熟悉 Kubernetes 架构及运维操作。 4、熟悉 DataWorks、网易数帆等主流数据开发与治理平台，有相关平台开发经验者优先。 5、熟悉 Hadoop、JuiceFS、Spark、Flink、Doris、Airflow、Kafka 等大数据组件原理，具备独立故障排查与解决能力。 6、熟悉 Datahub、Atlas 等元数据管理系统，有元数据管理系统开发经验者优先。 7、熟悉 Paimon、Hudi、Iceberg 等数据湖技术，有湖仓一体架构开发经验者优先。 8、具备多模态数据加工处理经验，能够实现结构化与非结构化元数据的统一存储与统一加工。 9、具备强烈的责任心与自驱力，良好的沟通与团队协作能力，工作积极主动，勇于挑战高难度任务。