Serving the agentic workload: Simon Mo on what AI agents change in vLLM · 2026-11-04
这篇 Simon Mo 在 Runtime 2026 演讲的总结解释：重复长前缀、短输出和突发子智能体让缓存放置与路由成为服务关键。文章讨论混合 KV 缓存、预填充/解码分离和分布式缓存池，并明确区分演讲材料、基准轨迹及总结者补充。理论前缀复用率不等于实测命中率，输入输出中位数之比也不是逐请求平均。性能数字需结合所链接演讲与基准配置。