职位描述
岗位职责:
1.负责数据开发与治理平台的开发和维护,数据存储组件云原生化的技术演进、开发和维护,支持PB量级数据存储;
2.负责juicefs在AI和大数据场景的应用与落地,基于juicefs建设存算分离的大数据平台;
3.负责数据湖技术的研究与落地,数据开发与治理平台的行业趋势调研、技术选型和组件存算分离架构研究设计;
4.负责数据建模、离线数据开发、实时数据开发、数据治理等大数据治理平台核心组件的设计、开发和维护。
任职资格:
1.本科及以上学历,在大数据领域工作5年以上,具备丰富的大数据产品研发经历;
2.精通java/Python语言,熟悉spring boot等服务端开发框架,熟悉 Kubernetes 的架构和操作;
3.熟悉dataworks、网易数帆等数据开发与治理平台,有数据开发与治理平台开发经验优先考虑;
4.熟悉Hadoop、juicefs、spark、flink、doris、airflow、kafka等大数据组件的实现原理,有较强的问题故障排查能力,能够独立解决大数据组件的常见问题;
5.熟悉Datahub、Atlas等元数据管理系统,有元数据管理系统开发经验优先考虑;
6.熟悉Paimon、Iceberg等数据湖技术,有湖仓一体架构开发经验者优先;
7.具备很强的责任意识,自驱力,良好的沟通和团队协作能力,做事主动积极,勇于挑战高难度工作。