【岗位职责】： 1、大数据平台架构设计与规划 - 根据集团业务需求及技术发展趋势，主导大数据平台的整体架构设计，确保平台具备高稳定性、可扩展性及高效性，制定长期技术演进路线。 - 设计数据存储、计算引擎、数据集成与治理等核心模块的技术架构，优化数据采集、清洗、存储及分析流程。 2 、技术选型与平台搭建 - 负责大数据技术栈的选型（如Hadoop/CDH、Spark、Flink、Kafka等），搭建并维护基于CDH的分布式大数据平台，确保技术组件与业务场景高度适配。 - 主导数据仓库建模、实时流计算框架开发，支持BI分析及数据挖掘应用。 3 、平台运维体系化构建 - 建立全链路监控体系，覆盖硬件资源（CPU/存储/网络）、系统服务（HDFS/YARN）、数据质量（ETL任务、延迟率）等维度，制定标准化监控指标与告警规则。 - 设计自动化运维工具与流程，处理平台故障及预警事件，保障7×24小时高可用性。 4 、性能优化与监控 - 分析平台性能瓶颈，优化计算任务调度、存储资源分配及集群负载均衡，提升数据处理效率（如Spark作业调优、Hive查询加速）。 - 定期开展压力测试与容量规划，预判资源需求并动态调整集群规模。 5 、数据安全机制建设 - 制定数据安全策略，包括敏感数据加密、访问权限控制（基于RBAC模型）、审计日志追踪等，防止数据泄露与非法访问。 - 设计灾备方案与数据恢复机制，确保数据完整性与业务连续性。 【任职要求】： 1 、学历与经验 - 本科及以上学历，计算机、数学、统计学或相关专业，5年以上大数据架构设计经验，3年以上大型分布式系统（PB级数据）实战经验。 2 、技术能力 - 精通Hadoop生态技术（HDFS/Hive/HBase/Spark/Flink），熟悉CDH平台部署与运维，具备源码级调优能力。 - 掌握数据治理工具（如Apache Atlas）、实时计算框架（如Storm/Kafka Streams）及容器化技术（Docker/Kubernetes）。 - 熟悉数据安全标准（如GDPR），具备数据脱敏、权限管理及安全审计实施经验。 3 、运维与问题解决 - 具备全链路故障排查能力，熟悉运维工具链（如Prometheus/Grafana/Zabbix），能快速定位并解决集群性能问题。 - 主导过大数据平台从0到1的建设，有金融、能源等高安全要求行业经验优先。 4 、软技能 - 优秀的跨部门沟通能力，能主导技术方案评审并推动落地，具备团队管理与技术培训经验。 - 对技术前沿敏感，持续关注AI/机器学习与大数据融合趋势（如TensorFlow在数据分析中的应用）。 【丰厚福利，团队全方位关怀】 周末双休、住房/通讯/交通/餐费补贴、五险一金、补充商业险、年度体检、带薪病假、带薪年假、节假日礼品、团建基金等。