周中柱
Together AI高级研究科学家；FutureMLS创始人及首席研究员
周中柱，悉尼大学计算机科学博士，现任 Together AI Turbo & Kernel 团队高级研究科学家，同时担任 FutureMLS（Future Machine Learning & Systems Lab）创始人及首席研究员。主要研究方向包括大语言模型推理加速、低比特量化、高效注意力架构、GPU 算子与训练—推理系统协同优化。他主导了 OSCAR（2-bit KV Cache 量化）与 CARE（协方差感知的 MLA 转换）等研究项目，并参与 AURORA 等高效训练与推理系统研究。相关成果发表于或被 NeurIPS 2026、ICLR 2026、ICML 2026 等国际会议接收。曾在微软 DeepSpeed、Dolby 和腾讯从事机器学习系统相关研究与工程实践，致力于将算法创新转化为可复现、可部署的大模型系统能力。
演讲主题
不止于论文：2-bit KV Cache 的工程落地之路
把 KV Cache 压缩到 2 bit，论文中的显存收益并不等于系统中的实际收益：长上下文精度如何保证？混合精度数据如何放进 Paged KV Cache？量化与反量化算子的额外开销是否会抵消带宽节省？本次分享以本人主导的 OSCAR 研究为核心案例，介绍离线旋转与混合精度设计如何降低极低比特量化的精度损失，并从推理系统视角讨论缓存布局、算子实现、服务框架集成和性能验证。结合长上下文任务准确率、显存占用、吞吐量及 TTFT/TPOT 等指标，分享从论文原型走向可用系统时必须面对的工程权衡与实践经验。 大纲： 1. 为什么“不止于论文”：长上下文推理中的 KV Cache 显存与带宽瓶颈，以及理论压缩率与端到端性能的差距。 2. OSCAR 算法设计：离线旋转、2-bit 量化与混合精度 KV Cache，如何兼顾压缩率和模型质量。 3. 精度与可靠性：长上下文任务、不同模型的误差表现、边界案例与可复现评测。 4. 走向推理系统：Paged KV Cache 布局、低比特算子、量化与反量化开销及服务框架集成挑战。 5. 如何判断真正落地：显存、TTFT、TPOT、吞吐量和准确率的端到端权衡与实践建议。 听众收益 1. 理解 2-bit KV Cache 从理论压缩率到真实推理收益之间的关键差距与技术瓶颈。 2. 了解 OSCAR 的离线旋转、混合精度策略与长上下文精度评测方法。 3. 掌握将低比特 KV Cache 接入 Paged KV Cache 与推理框架时需要考虑的缓存布局、算子和调度问题。 4. 学会从准确率、显存、TTFT、TPOT 与吞吐量评估方案是否具有实际部署价值。
