AWS 博客：vLLM 双向 KV 传输可降低多轮 Agent 首 token 延迟
AWS Machine Learning Blog 发文介绍，多轮 agent 负载每轮都会重复处理不断增长的对话上下文，推高延迟。文章称，双向 KV cache 传输让 prefill 与 decode 节点跨轮复用已计算的上下文，在配备 EFA 的 Amazon EC2 P5en 实例上，Qwen3-32B 的首 token 时间最高改善 1.6 倍，GLM-5-FP8 最高改善 3.3 倍。
为什么值得看：对运行多轮 AI 助手或 agent 流程的企业，首 token 延迟直接影响交互体验和流程效率。该信息提供了推理侧复用上下文的具体优化方向及厂商披露的量化效果，可作为评估推理部署架构的参考；但需注意测试环境特定、版本与部署要求未说明，效果不能直接视为自身业务收益。