11 月 12 日那天,很多人打开 Outlook 只看得到转圈。邮件发不出去,Teams 倒是能正常聊。
不是你的网。据 The Register 和 Ars Technica 报道,微软 11 月 15 日发了初步事故报告,把锅扣在自己七月打的一个补丁上。
不是黑客,也不是 AI。报告里的定性很干脆:技术问题,跟网络攻击和智能体都没关系。
让人后背发凉的是后面这半句。那个补丁在机器里躺了三个月,微软自己的测试一次都没测出来。
一个补丁在机器里躺了三个月
图片来源:Ars Technica
先把这堆名词理一下。网关是微软 365 的进门通道,平时有两套独立系统互为备份。备用通道抽风,流量就切到主通道,而主通道上跑的是 Exchange 邮件。
11 月 12 日的事故就从这个切换开始。Teams 从备用网关切回了主网关,这一步本身是设计好的容错动作,之前也切过很多次。
巧的是同一时间,网关机队里有一成四的机器正在维护下线。这部分本来要恢复,微软也说容量还有余量。
两件事单看都不算事。凑到一起,把七月那个补丁里藏着的锁竞争捅了出来。
一个进程攥着资源不放,别的进程排队干等,CPU 和内存很快被吃光。机器失去响应,流量被转去下一台健康机器,那一台也倒。
两小时内,超过八成的网关服务器无响应。按区域隔离的机制本该拦住这种雪球,这回没拦住,报告里也没解释为什么。
微软拿弱机器做压测,问题就出在这里
报告里有一句话,我看完记了下来:我们的负载测试,偏好核心数更少的机器。
毛病恰恰出在这儿。锁竞争这个毛病,核心越多、硬件越新,发作得越狠。
测试环境用弱机,生产环境用新机器。于是测试全过,上线无事,三个月后集体爆掉。
拿小车试刹车,装到大卡车上跑长途。听着离谱,可这是全球最大的云服务商写在自己报告里的原话。
回滚这招这次不灵了
按机房里的老规矩,出这种事回滚就行。这次回滚不了。
缺陷是七月埋的,昨天早就没影了,能退到哪儿去。工程师只能反过来,给那个补丁再打一个补丁,把代码路径改回之前正常的样子。
重启也没用。机器一上线,积压的请求立刻把资源吃满,当场又倒一次。
说难听点,能用的招基本都用完了。从监控发现异常到确认恢复,前后接近 24 小时,中间他们加过容量、调过流量分配,都没能立刻止住。
邮件挪不走,所以它停得最久
有个细节很多人没注意。Teams、OneDrive 这类服务都能从出问题的网关里切走,所以几个小时就缓过来了。
Exchange Online 挪不动,规模太大。于是那天你遇到的情况就是:聊天软件能开,邮件一整天发不出去。
你有没有想过,为什么偏偏是邮件停得最久?
同一家云的不同服务,故障切换的能力差得很远。你以为买的是一个篮子,其实是几个篮子拼起来的。
微软说已经加了容量和流量护栏,还把受影响邮件的投递超时调长了,免得迟到的邮件被当成退信打回来。完整报告 11 月 20 日发布,区域隔离为什么失守,到现在还没交代。
下次再看到「某云全球故障」,先别急着问是黑客还是 AI。多半就是一个没人当回事的补丁,配一次合格的压测。
今天的冗余,到此为止。
#微软# #Exchange# #云服务#

