本期导读
0 篇论文、5 篇技术笔记与 2 条社区阅读。原文发表日期与本期阅读日期分别记录。
社区动态
社区记录
Decagon 的 AutoResearch 把推理服务优化变成可重复的诊断、实验和验证循环。关键不只是让智能体提出配置，而是让每次改动面对相同负载、延迟约束和噪声门槛，确认收益后才继续寻找新的瓶颈。
来源： Pavi Dhiman 和 Cyrus Asgari，Building an inference stack that improves itself，2026 年 10 月 28 日（UTC）。
先建立可以反驳假设的环境
不同端点的模型、硬件、请求长度和延迟目标不同，同一优化不一定都有效。团队从生产日志重建脱敏请求，保留消息结构、工具定义、生成设置等；同时检查脱敏是否改变 token 长度和共享前缀。容量测试逐步提高到达率，测出延迟—吞吐曲线；另一种回放按生产时间分布重现突发，并观察自动扩缩容。开放环路发送器不会等前一请求完成，因而能暴露服务变慢后的排队。
候选和基线使用同一请求池、到达安排和延迟要求。团队先重复基线，估计自然波动；改进必须超过噪声并在重复运行中成立。容量测试每个负载阶段预热并重置前缀缓存，生产形态回放则让缓存状态自然演进。平均请求率相同仍可能掩盖请求长度、前缀复用和突发形态的差异。
诊断、分工与重新测量
主智能体先结合请求日志、配置和 GPU profile 识别瓶颈：既看算子耗时，也看 prefill 是否打断 decode、CPU 与 GPU 是否重叠以及 kernel 间空隙。诊断负载每次改变一种因素，例如固定输出长度、改变提示长度。子智能体分别研究竞争性解释，每项提案需给出证据、具体干预、预期变化以及什么结果会推翻假设。主智能体统一调度实验，避免并行调查使用不一致的评估口径。
验证成功的配置成为新的工作基线，随后重新诊断；叠加的优化还要通过对照和消融检查，因为两项独立收益可能竞争同一资源。共享记录保留模型、硬件、负载和引擎版本，以及无效或相互矛盾的结果。生产部署仍需人工审阅，尤其要区分保持模型输出的改动与可能影响质量的量化。
从接受率到真实吞吐
投机解码实验同样使用回放和延迟约束，而不把离线接受率当作最终目标。团队针对目标模型和工作负载调整 drafter 的数据、采样和训练，并比较生产 drafter 与训练起点两个基线；候选还要通过正确性和重复服务测试。作者报告，对一个 Gemma 4 26B-A4B 端点，调整 prefill–decode 间隔使回放容量最高增加 65%；为 select-playbook 端点适配 DFlash2 后，吞吐相对生产 drafter 增加 34%。这些是特定端点与基线下的结果，不能直接推广到所有负载。文中没有提供可供独立审阅的完整实验明细，收益应理解为企业自报。
这套设计值得关注的是实验控制：可证伪的假设、代表性回放、噪声门槛和人工部署决策共同约束智能体，而不是依赖一次看似漂亮的跑分。
社区记录
SGLang：GB300 NVL72 上 DeepSeek V4.1 Flash 接近 1000 tok/s/user（激进 kernel fusion）
SGLang 帖称通过积极 kernel 融合，在 GB300 NVL72 上运行 DeepSeek V4.1 Flash 接近每用户每秒 1,000 token，并引用 SemiAnalysis 测量。这是特定模型与硬件的吞吐陈述，短帖不能证明所有并发、提示长度和延迟目标下都达到该速度。