调查对象是可修订的假设
PagerDuty 将 SRE agent 的困难定位在持续事故调查:初始告警到来时,决定性证据可能还不存在,故障组件也未必是报警组件。SRE Workbench 让人和 agent 共享时间线、日志、部署、依赖及笔记。Deep Investigation 先定位组件,再解释组件内部出了什么问题,同时保留多个候选原因。
每条证据要把具体主张连回日志行、指标、部署事件或对话,并区分直接与间接证据。缺失必需配置能直接支持故障机制,同一时间的错误尖峰只能提示调查方向。文章描述早期 agent 曾将伴随症状误当原因,因此也保留被排除假设及反证。新遥测和人工引导到来后继续修订,而非首次回答后结束。
用源码事实构造可查询拓扑
拓扑用于从告警服务向上游找候选原因、向下游找影响范围。采集器解析源码、部署配置和基础设施定义,将调用 host、读数据库、发布 queue 等记录为带文件行号的事实。中央引擎跨仓库连接环境变量、Helm 值和 Terraform 输出,解决单仓库内不可见的引用。
大部分图构建不需要 agent 在线生成。AI 在离线阶段识别无法解析的新框架习惯,提出可复用提取规则;已有规则再确定性运行。这把“让模型画架构图”变成可追查的事实连接。事件共现提供另一种影响范围信号,但两个服务同时告警可能只是共享外部原因,不能直接当依赖边。
评测如何改变架构选择
团队既回放历史事故,也在私有 EKS 微服务系统注入配置、代码、数据和运维故障,入口包括 Helm、Chaos Mesh、PR 与 AWS 控制面。最新报告包含 17 场景,三家提供方的模型裁判按预设标准评根因、定位、缓解、误导和延迟。早期复杂多 agent 设计在部分事故上慢、贵且只居中游;重构后报告诊断分数约提高 20 点。
这仍是厂商自建自评,不能据此认定跨产品胜负。历史回放可能泄露事后知识,也不完整;现场基准尚无法重现人工输入带来的价值。我的理解是,可迁移贡献在于把架构拓扑当成待检验选择,把诊断证据和假设修订保存在持续调查对象中。可核查的反证与误导指标,比单次看似合理的根因回答更接近值班需求。
来源:原始工程文章