11 月 12 日,Microsoft 365 的流量管理系统把请求从失去响应的网关移向健康节点。通常,这个动作可以让用户避开一台故障机器;当天,接手流量的机器运行着同一份有缺陷的软件。北美大范围故障开始后约两小时,每个区域都已有服务器受到影响。11 月 20 日发布的完整事故报告,把同一事件的初报补成了一条可以沿着时间追踪的因果链。
Microsoft · EX1550543 / MO1550821 · 2026-11-20 · Post Incident Report for Microsoft 365
七月部署的变更,十一月才遇到触发条件
Exchange Online 所用网关采用了特定的 Windows 配置。一次连接处理变更从七月起分阶段部署,全球上线三个多月后才发生这次事故。在较新的高核数硬件上,更多请求能够同时进入处理路径,进程内的锁竞争随之加重。在特定负载下,请求积压并耗尽 CPU 和内存,直至服务器失去响应。实验室使用过的较老、核心较少的机型遇到这种竞争的概率较低,压测流量也没有覆盖现场组合。微软将缺陷范围限定在网关配置,排除了网络攻击与 AI 工具致因。
11 月 12 日,常规维护使接近 14% 的网关容量暂时离线。UTC 01:07,Teams 因美国东部的路由问题自动切到也承载 Exchange 的冗余网关。此后数小时总体健康,直到北美工作日流量接近高峰,约 16:00 才出现大面积故障。维护、切换和日峰值本应在容量设计范围内。缺陷改变了额外并发的代价,解释了为什么凌晨切换成功、下午才出现危机,也解释了为什么只回看当天变更很难找到根因。
“健康”描述上一刻的节点,无法保证它还能承接下一批流量
微软把网关划分为数千个容量单元,每个单元由服务器和网络基础设施组成。某个单元里的机器失去响应,流量管理器先把请求送到同一区域内的健康单元。请求总量没有相应减少,接收方承担更高的并发,也更容易触发锁竞争。北美受影响的服务器扩大到相当一部分,最差时超过 80% 的服务器失去响应。区域余量耗尽后,流量再向其他区域转移,相同回归随之在更多地方暴露。
这条传播路径也解释了用户看到的不同恢复速度。Teams、OneDrive、SharePoint 等可切走部分流量,核心服务得以较早缓解,但访问邮箱、日历和联系人数据的功能仍依赖 Exchange。举例说,助手能接到请求,也可能取不到完成请求所需的邮箱数据。判断一个上层服务是否可用,需要具体到用户正在执行的动作。
为什么重启一台机器,不能简单地多恢复一台容量
大量客户端等待重连。单台网关直接重启上线,立刻会被排队流量压垮。确认修复方案后,每台机器要先摘流、重启以退出无响应状态、应用补丁、再次重启以激活补丁,最后才能重新接流。恢复团队一次将成组容量单元移出轮转,并行修复其中的机器,再成组放回,随后把这一做法扩展到各区域。这里的瓶颈同时涉及识别数月前的改动、每台机器的两次重启和整个机群的覆盖速度。
UTC 11 月 13 日 14:17,全球网页版 Outlook 的可用性回到预期水平。16:10 转入延长监控和邮件积压处理,直到 14 日 04:15 才宣布事件结束。邮件重试窗口从 24 小时延长到 48 小时,企业队列中的消息全部送达。报告也单列了一个例外:部分寄往超过 30 天未活动的个人邮箱的延迟邮件已过期,发件人收到无法投递通知。
哪些隔离措施已经生效
截至报告日,微软已把修复写入 Windows 镜像,新增流量重定向和连接处理监控,并设置临时护栏约束自动分流。后续计划把工作负载分池、将 Teams 的故障切换限定在受影响区域,并在高核数硬件上用更贴近生产的流量做峰值测试。恢复侧还计划让节点逐步接流,增加准入控制与退避;其中部分措施当时尚无完成日期。补丁解决了本次锁竞争,隔离与恢复措施则针对另一个失效条件:当许多节点一起变慢时,系统还会把多少负载送到刚刚恢复的节点。