AWS Machine Learning Blog· Sunita Nadampalli·· 4 小时前AI 评分56
vLLM 新增 push 模式 NIXL KV 连接器， disaggregated inference 的 TTFT 最高提升 3 倍
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS 为开源推理引擎 vLLM 新增 push 模式的 NIXL KV 连接器，将 post-prefill 的路由往返和 decode 端传输准备挪到后台线程，移出首 token 关键路径。
来源：AWS Machine Learning Blog · aws.amazon.com