职位描述
岗位职责:
1,负责大数据平台数据中的数据标准,数据质量,数据冶理事项;
2,负责大数据平台中的业务数据模型分析,开发,管理;
3,负责大数据平台的ETL等任务;
4,负责大数据平台日常管理,保证系统稳定运行;
5,负责对接各个平台的数据质量要求;
6,负责数据资产管理和数据挖掘,数据分析,数据模型开发等工作
任职要求:
1,相关制造行业和ERP(SAP)的运维和开发的经验者优化考虑
2,熟悉HDSP或CDP平台者优化考虑
3,会使用大数据平台开发相关的工具和软件(Datax,ETL,Flink,KAFKA);
4,熟悉撑握HIVE,DORIS, Redis等数据库开发能力;
5,熟悉 开发流程,熟练使用相关组件 spark、flink 等进行离线实时 开发、任务调度、治理、 清洗等;
6,使用数据流处理和实时计算技术,熟悉流数据处理框架,如Apache Kafka、Apache Flink等,能够构建实时数据处理和分析平台,处理高速的数据流;
7,能够评估数据的准确性、完整性、一致性和可靠性,并采取相应的措施保证数据质量。了解数据质量度量指标和数据质量管理工具,能够有效监控和维护数据质量;
8,根据数据仓库中的数据信息,选择合适的分析工具,应用统计方法、事例推理、决策树、规则推理、模糊集、神经网络、回归算法,遗传算法等方法处理信息,得出有用的分析信息;
9,熟练使用元建模、概念和逻辑数据建模以及物理数据建模
10,有一定数据分析能力和AI开发能力