故障恢复需要分清可观察的异常、可验证的任务约束和根因证据;推理系统则要同时考虑硬件拆分与数值行为。
实时遥测与确定性校验共同捕获故障
Real-Time Detection and Repair of LLM Agent Failures · Sunny Dubey · 2026-08-03
Agent 运行到一半可能陷入循环、连续调用失败,也可能悄悄遗漏任务。Sunny Dubey 用健康轨迹训练单类 echo-state network,将步骤文本、动作元数据等遥测转为序列异常信号,再用 CUSUM 累积变化。混合模型加入 Mahalanobis 检测,并用内容接地通道检查工具结果;它不依赖每一步都调用另一个 LLM。
作者在三个框架、多个模型的 2,823 条 episode 上评估:内容损坏的汇总检出率从 0.28 升至 0.59,但只在损坏能进入遥测文本时有效。另一条路径直接核对必需调用与最终数值是否来自工具结果;在同一组实验中,数值校验捕获 60% 的失败,加上覆盖检查为 96%,63 条健康样本中无误报。告警后回退至最后一次事实收集并重新运行,失败恢复率为 45%,对照的重新采样为 16%。这些数字对应论文的特定任务与实验设置。
自然失败更难:30 条高温运行中,监测器只捕获三次编造中的一次,健康运行误报率达 36%;遗漏则由完成检查捕获。跨模型迁移需要重新校准,缓慢目标漂移及看似合理但错误的外部数值仍是盲点。对 AgentOps 的启示是把低成本异常检测、任务约束检查和外部事实核验组合起来,而非将告警分数当作完整正确性证明。
CUADebug:从界面轨迹定位根因并重执行
CUADebug: Diagnosing and Repairing Computer-Use Agent Failures · Weijia Zhang 等 · 2026-07-31
最终截图可能只显示任务失败,而真正的错误发生在数步之前。Weijia Zhang 等提出 CUADebugger:它按需查看动作前后截图与操作轨迹,输出错误类别、根因步骤、证据和纠正建议,再用于重执行。作者构建了含 204 条 OSWorld 失败轨迹的人工标注集,其中 110 条属于任务推理与控制。
在主要 Claude 轨迹子集上,以 Gemini 2.5 Pro 调试时,错误子类与根因步骤联合命中从 11.2% 升至 19.6%。单次重执行的机器 RCA 方案成功率为 28.47%,历史续跑为 13.89%;这些方案在重启位置和提示格式上并未完全匹配,不能把差异全归因于诊断本身。结果主要来自 OSWorld 和 Claude 轨迹,其他 agent 的样本更小。与遥测监控不同,这项工作利用视觉动作证据解释已发生的界面错误。
FailFast:提前终止并保留可用代码修改
Fail-Fast, Restart-Smart: Early Failure Prediction and Restart for SWE Agentic Tasks · Chenyu Wang 等 · 2026-08-04
Chenyu Wang 等用 0.6B 监测器从编码轨迹前缀预测失败;报警后启动同一模型的新运行,并把旧修改作为默认关闭、可检查和撤销的代码 overlay 提供,而不是把失败推理原样塞回上下文。SWE-bench Verified 上,在 5% 误报预算下提前终止最多节省 20.4% 执行 token;针对 Qwen3.6-27B,25% 误报预算下重启将解决率提高 5.2 个百分点,同时净 token 成本增加 43.8%。测试限于 mini-swe-agent 与 SWE-bench Verified;它研究的是中止与恢复的成本权衡,与 CUADebug 的视觉根因定位互补。
MoE 归约顺序如何改变后续行为
From Expert Reduction to Behavioral Divergence: Tracing Numerical State through Sparse MoE Inference · Tianyang Zhu · 2026-07-30
Tianyang Zhu 固定 DeepSeek-V4-Flash 局部状态,仅改变专家输出的有限精度归约方式,追踪误差如何经过隐藏状态、路由和跨 token 持续状态传播。在一个层内分叉实验中,720 种 A 模式顺序产生 10 种续写;另一模式的 360 个结构类产生 11 种续写。作者用精确状态重建验证一个受控分支的传播链,并发现已输出 token 相同不代表内部持续状态相同。实验仅涉及一个检查点、原生运行时和有限状态;没有测量生产中发生频率,也没有测量稳定方案的性能开销。它为推理后端数值兼容性测试提供了因果案例,而非生产故障率估计。
HeteroPanacea:拆分推理阶段何时划算
When Does Disaggregation Pay? Simulating Prefill–Decode–Attention–FFN Specialization for Agentic LLM Inference · Przemyslaw Forys 等 · 2026-08-04
Przemyslaw Forys 等用事件驱动模拟器比较整体服务、prefill/decode 拆分和 attention/FFN 的四阶段拆分,同时搜索并行策略、精度和阶段专用硬件。作者在当前 GPU 场景模拟到最高 75% 的吞吐提升;定制 NPU 场景的最高增益为 2.06 倍。拆分要在 prefill 足够重时才超过整体服务,四阶段比两阶段更有利还依赖硬件设计空间。模拟器组件以 8×B200 节点校验,但端到端调度和批处理没有完成实测验证,GPU 经济性也取决于特定报价。