刘童璇
京东零售集团智能平台部算法总监，开源大模型推理引擎xLLM负责人
京东零售集团智能平台部算法总监，负责推理引擎和服务部，开源大模型推理引擎xLLM负责人。曾参与了多个深度学习开源框架的工作。主要研究方向大模型推理优化、多模态大模型、生成式推荐等方向，在SC，KDD，MLSYS、AAAI、EMNLP，NAACL，TC、TDPS等会议、期刊发表十余篇论文。
演讲主题
基于C++构建大模型推理优化框架xLLM实践
xLLM引擎作为以C++语言开发的大模型推理引擎，全面覆盖从大语言模型、多模态模型到文生图、文生视频及生成式推荐等AIGC场景，在多种国产芯片上完成深度优化，使企业级部署具有更高的效率和更低的成本。该框架通过多项技术实现效率提升：在服务层，包括在线/离线请求的弹性调度、动态PD分解、多模态和高可用容错的混合EPD机制；在引擎层，结合多流并行计算、图融合优化、推测推理、动态负载均衡和全局KV缓存管理等技术。
