岗位base
上海长宁内推亮点
简历直达老板,实时反馈进度!公司福利
实习期间将指派一位大牛导师进行带教,帮助提升技术和融入团队实习期间表现优秀者,同等条件下可优先拿2026届秋招正式OFFER
招聘对象
大模型AI Infra工程师
岗位职责
1、负责实现和优化大模型分布式训练以及在线推理系统,提升训练效率和推理性能,包括不限于:架构设计、算子开发、数据处理加速、Checkpoint保存与加载、通信优化等;
2、研究和优化大规模异构加速集群调度、存储、通信互联、监控、Profiling等组件,提升整体硬件利用效率;
3、研究并实现各种模型并行策略(DP/TP/PP/EP/CP)、混合精度、Zero、FSDP、MOE、FP8等技术,加速模型训练,优化显存开销;
4、设计和开发高效的离线、在线推理系统,优化TensorRT-LLM、ONNX-Runtime、vLLM等推理框架,加速整体推理性能;
任职要求
1、本科及以上学历,具有扎实的计算机基础,熟悉操作系统和网络,熟悉C/C++和Python编程语言,对数据结构&算法设计有较深刻的理解;
2、熟悉至少一种主流的深度学习框架,如Tensorflow或Pytorch;熟悉至少一种主流的模型推理框架,如TensorRT-LLM;
3、熟悉CUDA编程,掌握TensorRT、Cutlass、cuDNN等加速库,有内核级优化经验者优先;
4、具备大型分布式系统开发经验,熟悉MPI、NCCL、Megatron-LM、Deepspeed、FSDP等相关技术;
5、责任心强,思路清晰,技术视野开阔,对业界新技术敏感,喜欢钻研,具有良好的学习能力并注重团队合作;
加分项
1、有大规模的大模型训练和推理优化经验者优先;
2、熟悉算子开发,有算子优化(如CUDA/Triton)经验者优先;
3、熟悉大模型算法设计,熟悉Transformer架构及其优化方法(如FlashAttention、PagedAttention)者优先;
4、了解Kubernetes以及分布式存储,有相关开发经验者优先;
5、有大型互联网系统(如搜索、推荐、广告)开发经验者优先;
6、有发表OSDI/MLSys等顶会论文,或ACM/ICPC等编程比赛获奖经历者优先;
全部评论
(1) 回帖