职位描述
职位描述：参与内部异构大模型推理引擎优化，支持大模型推理各种优化技术在异构硬件上的落地。包括但不限于：
1、参与日常推理引擎的优化开发，不断优化大模型业务在对应硬件上的TTFT、TPOT等指标；关注业界最佳实践，能将业界最佳实践落地到内部的引擎优化中；
2、完成各种大模型推理所需的功能性开发任务；
3、参与支持日常的大模型推理服务部署，参与内部日常提效工具的研发。
任职要求：1、有扎实的C 工程基础；
2、有大模型相关训练或推理优化经验；有vLLM、TensorRT-LLM、MLC-LLM 等框架之一的实践经验；熟悉LLM infer 相关技术栈，熟悉TP/PP/DP等分布式通信原理等；
3、熟悉CUDA 或 ROCM，熟悉Nsight System/ Nsight Compute 工具的使用，有 GPU 或 ASIC 高性能算子开发经验；
4、了解AI infra 整体技术栈需求，有训练框架或推理框架实战经验、熟悉TensorRT、TVM 等框架的使用、有二次开发能力或开源社区贡献经历更佳。