热点事件持续更新

vLLM推出推送式KV传输以缩短推理延迟

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

AWS Machine Learning Blog一篇由Sunita Nadampalli与Mistral的Nicolò Lucchesi合写的文章介绍，vLLM推出push-based NIXL connector，把KV cache传输的协调与建连步骤从decode端的关键路径上移走，改由prefill端配合后台线程完成NIXL WRITE，从而在分离式prefill/decode部署中缩短首token时延（TTFT）与每token时延（TPOT）。在基于Amazon EC2 P5en实例并用EFA互联的1P1D配置、运行Qwen3-32B模型的基准中，作者称push模式相比pull模式将TTFT提升最高至3倍、TPOT改善最高约30%。作者同时指出结果依赖具体工作负载与配置，该功能虽可运行于其他支持的配置，但性能因硬件、模型、工作负载与网络配置而异。

AI 根据报道生成 · 1 小时前更新

最新进展10月20日 00:05

vLLM 推出 push-based NIXL connector，将 KV 传输移出 TTFT 关键路径

报道时间线

沿着报道，了解事件的不同侧面。

10月20日

00:05
AWS Machine Learning Blog
vLLM 推出 push-based NIXL connector，将 KV 传输移出 TTFT 关键路径
vLLM 引入 push-based NIXL connector，把 KV cache 传输的协调与建连步骤从 decode 端的关键路径上移走，由 prefill 端配合后台线程完成 NIXL WRITE，从而在 disaggregated prefill/decode 部署中缩短 TTFT。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。