职位描述
[工作内容]
-负责设计、开发和维护大规模的数据处理系统及平台，确保数据的高效采集、存储、计算与分析。
-运用Hadoop、Spark等大数据技术栈，进行数据仓库建设，支持公司内外部数据分析需求。
-对现有数据处理流程进行性能优化，提升数据处理效率和准确性。
-参与数据治理项目，包括但不限于数据质量监控、元数据管理及数据安全策略制定。
-与业务团队紧密合作，理解业务需求，将业务逻辑转化为可执行的数据处理任务。
- 编写技术文档，分享技术知识，并指导初级开发人员成长。
[任职要求]
- 计算机科学或相关专业本科及以上学历，3年以上大数据开发经验。
-熟练掌握Java/Python/Scala中至少一种编程语言，具备良好的算法基础。
-精通Hadoop、Spark等大数据处理框架，熟悉其生态系统中的其他工具如Hive、Pig等。
-了解分布式系统原理，有实际的大规模数据处理项目经验者优先。