职位描述
1. 硕士及以上学历,计算机科学、人工智能、数学、数据科学或相关专业背景。
2. 具备扎实的机器学习与深度学习理论基础,熟悉 Transformer 架构、注意力机制和预训练范式。
3. 至少 2 年以上大规模模型研发经验,熟悉 PyTorch、DeepSpeed、Megatron-LM、vLLM 等主流训练/推理框架。
4. 具备大规模分布式训练调优经验,能够独立设计高效的分布式训练策略,解决 GPU 集群资源利用与性能瓶颈问题。
5. 熟练掌握至少一种大语言模型微调技术(LoRA、P-Tuning、RLHF、DPO 等),有实际落地案例。
6. 具备将复杂业务需求抽象为模型问题并提出创新性解决方案的能力。
1、大模型研发与优化:负责预训练语言模型的研发与优化,包括参数规模在百亿级以上的 Transformer 类模型;探索混合专家(MoE)、长上下文(Long-Context)、稀疏注意力等前沿架构提升推理与训练效率。
2、模型训练与微调:针对不同业务场景,开展大规模语料预训练、指令微调(Instruction Tuning)、偏好对齐(RLHF、DPO 等)和低成本高效微调(LoRA、QLoRA、P-Tuning 等),提高模型在垂直领域的表现。
3、性能与部署优化:研究并实现分布式训练(如 ZeRO、FSDP、DeepSpeed、Megatron-LM)、模型并行与推理加速(vLLM、TensorRT-LLM、FlashAttention),降低 GPU 内存消耗与推理时延。
4、工程落地:与平台团队协作,提供模型推理服务 API,封装高性能 SDK,支持多端调用(Web/移动端);负责大模型在知识图谱、搜索推荐、对话系统等场景的落地与优化。
5、前沿探索:跟踪 LLM、Multimodal、RAG(检索增强生成)、Agent 框架以及模型安全性(安全对齐、防幻觉)领域的最新进展,推动大模型与知识图谱、图神经网络等技术结合。