大数跨境

AWS 如何通过运行数百万个 Kubernetes 集群习得区域故障应对之道

AWS 如何通过运行数百万个 Kubernetes 集群习得区域故障应对之道 云云众生s
2026-07-21
0
导读:本文探讨了AWS在处理Kubernetes区域故障中的经验,强调了静态稳定原则。通过EKS区域转移机制,系统在故障时停止无效的自我修复,通过健康区域接管流量,避免级联故障,保障了集群的高可用性。

 


本文探讨了AWS在处理Kubernetes区域故障中的经验,强调了静态稳定原则。通过EKS区域转移机制,系统在故障时停止无效的自我修复,通过健康区域接管流量,避免级联故障,保障了集群的高可用性。

译自:What running Kubernetes across millions of clusters taught AWS about zonal failures[1]

作者:Raghav Tripathi, Sri Saran Balaji Vellore Rajakumar

处理明显的故障很容易:服务器宕机了,你再启动一台就行。而真正导致整个区域不可用的故障往往不那么显而易见。例如一个区域变慢但未完全中断,虽然丢弃了一些流量,但健康检查却依然通过。AWS Region 将基础设施分散在多个具有独立电力、冷却和网络设施的可用区(Availability Zones)中,因此如果一个可用区出现电力事件、网络分区或冷却故障,你的应用程序可以继续从其他可用区提供服务。在实践中,其难点在于可用区很少会干脆利落地“消失”。在那种模糊地带,大多数自动化系统的默认行为(检测到不健康并尝试替换)反而会将单一可用区的问题升级为区域性故障。

我们通过多年来在 Amazon EKS 中构建可用区韧性,并在真实的生产事件中不断完善,最终学到了这一点。我们所构建的系统如今保护着每一个 EKS 集群。本文将介绍我们在 EKS 为每个集群运行的 Kubernetes 控制平面中构建了什么,在工作负载运行的数据平面中暴露了什么,以及连接两者的原则。这些原则中最重要的一条是静态稳定(static stability):在可用区受损期间,系统能做的最有价值的事情就是停止反应、保留现有容量、绕过坏区并等待。

为什么控制平面需要可用区韧性

EKS 控制平面[2]由 API 服务器(kubectl 和控制器与之通信的端点)和存储集群完整状态的 etcd 数据存储组成。为了实现韧性,这些组件分布在多个可用区。如果一个可用区变得不可达,其他可用区的存活实例将继续提供服务。理论上,这是可行的。之所以可用区韧性需要多年的工程投入而非仅仅停留在图纸上,是因为在可用区完全瘫痪前的“灰色地带”会发生各种状况。

当可用区陷入“灰色”故障

我们早年间最常见的故障模式[3]涉及健康检查和自动伸缩(Auto Scaling)。控制平面实例位于网络负载均衡器之后,由自动伸缩组监控其健康状况。健康检查逻辑在隔离环境下是合理的:如果一个实例在 30 秒内多次检查失败,则标记为不健康并进行替换。

“这些原则中最重要的一条是静态稳定:在可用区受损期间,系统能做的最有价值的事情就是停止反应、保留现有容量、绕过坏区并等待。”

对于平时单个节点的故障,这样做是正确的。但在可用区网络受损期间,它会引发连锁反应。短暂的分区会导致受影响区域的 API 服务器因其前方的网络受损而无法通过健康检查,而不是因为服务器本身损坏。伸缩组会终止它们。随后它会尝试在同一个受损区域内启动替换实例,但由于配置过程也会失败,当启动尝试再次失败时,它会退避长达 30 分钟。

负载均衡器的健康检查在一定程度上依赖于 API 服务器是否能访问 etcd,因此可用区之间的网络闪断可能导致健康的实例被标记为失败。最终结果是:30 秒的网络闪断可能引发整个集群大部分实例的终止,丢弃热缓存,给原本就吃力的依赖项增加负载,然后在底层事件解决后的 30 分钟内拒绝恢复。

控制平面的自动化可用区转移

显示 Kubernetes 控制平面区域转移的架构图,其中监控系统检测到不健康区域,并触发操作以停止新启动、重定向流量并阻止受损可用区中的控制平面租约。
显示 Kubernetes 控制平面区域转移的架构图,其中监控系统检测到不健康区域,并触发操作以停止新启动、重定向流量并阻止受损可用区中的控制平面租约。

我们构建了一种自动化权重转移机制,可在约两分钟内将控制平面活动转移出受损区域。该转移会并行作用于多个系统。

  • • 在 DNS 层,对于可通过公共端点访问的集群,控制平面位于负载均衡器之后,其地址通过具有分区域健康检查的 DNS 进行分发。转移操作会使受损区域的健康检查失败,DNS 停止提供该区域的记录,新连接将导向健康的区域。
  • • 在伸缩组层,指令要求组停止响应受损区域内的健康检查失败,从而终止了终止级联。
  • • 在 Kubernetes 层,EKS 运行选主控制器(调度器、控制器管理器、Fargate 调度器和证书控制器),同一时间只有一个实例处于活动状态。

转移会强制任何领导者位于受损区域的控制器将领导权移交给健康区域。此外,受损区域的 API 服务器会停止通告其 IP 地址,确保 Pod 将请求路由到其他区域健康的 API 服务器。集群继续使用正常的基础设施进行调度和协调。

由健康区域完成工作

该机制背后的设计原则是我们通过第一性原理得出,并经由事故验证的:纠正措施必须由健康的区域采取,绝不能由受损区域采取。我们曾想过将逻辑构建为让受损区域的实例自行发现问题并退出,但这种想法很诱人却危险。

根据定义,处于受损区域的实例是你最无法依赖的组件,甚至无法依赖其正确地自我移除。因此,该机制的设计方式是让幸存者屏蔽坏区,并带有经过深思熟虑的故障保护默认值。

隐藏在区域故障中的跨区域依赖

局限于一个区域的故障仍可能通过你未察觉的跨区域依赖关系损害健康的区域。我们通过 etcd 发现了这一点。API 服务器维护与 etcd 实例的客户端连接,etcd 会自动将其集群成员列表与客户端同步。

“根据定义,处于受损区域的实例是你最无法依赖的组件,甚至无法依赖其正确地自我移除。”

在某些故障期间,健康区域的客户端可能会获取到指向坏区中孤立 etcd 实例的陈旧成员条目,尝试使用它,并导致自身健康检查失败。一个物理上仅限于一个区域的问题导致了其他区域的 API 服务器故障。

我们从中吸取的普遍教训是:“区域性”描述的是故障的位置,而不是自动指代其爆炸半径。两者之间的差距是产生最严重意外的地方,审计跨区域依赖路径已成为我们评估新控制平面组件的永久部分。

数据平面:针对工作负载的区域转移

上述控制平面的工作保护了 EKS 运行的基础设施,但你的应用程序运行在工作节点和 Pod 的数据平面上,区域事件同样会影响该层。受损区域中的工作节点可能无法访问,流量需要转移走。同样的原则也适用,但这里的决策权在你,因为只有你最了解应用程序的容量、拓扑以及它能承受的风险。

显示 AWS Kubernetes 数据平面区域转移的架构图,其中操作员触发区域转移,将流量从不健康的可用区重新路由到健康的区域。
显示 AWS Kubernetes 数据平面区域转移的架构图,其中操作员触发区域转移,将流量从不健康的可用区重新路由到健康的区域。

Amazon EKS 的 ARC 可用区转移功能赋予了你这种权限,它建立在其他 AWS 服务通过 Amazon Application Recovery Controller 使用的可用区转移原语之上。一旦在集群上启用,你(或代表你的 AWS)可以声明工作负载应从特定区域移出,EKS 会重塑集群内网络,在不启动额外容量或丢弃现有容量的情况下停止使用该区域。

当转移激活时,EKS 会隔离(cordon)受损区域中的每个节点,防止 Kubernetes 调度器将新 Pod 放置在那里。对于托管节点组,它会暂停自动伸缩组的 AZ 再平衡,并将组限制为仅在健康的区域启动新节点。EndpointSlice 控制器会从你服务的 EndpointSlices 中移除受损区域的 Pod 端点,因此 Pod 之间的东西向流量以及通过 ALB 或 NLB 的入站流量仅会定位到健康区域的 Pod。

关键在于,它既不会终止节点,也不会驱逐受损区域中的 Pod。将它们留在原地意味着一旦区域恢复或你取消转移,你的容量会立即恢复,无需冷启动的混乱。

不要驱逐,保留容量

不驱逐的决定是基于观察大型集群在没有此保护下发生的情况[4]。当一个区域变得不健康且所有节点变为 NotReady 时,节点生命周期控制器会驱逐所有 Pod,以便它们可以在其他地方重新调度。在中小规模集群上,这运行良好。

在大型集群上,同时驱逐那么多 Pod 会导致其他区域出现激增的容量请求,最终导致“容量不足(Insufficient Capacity)”错误。当受损区域恢复时,工作负载仍分布不均,直到它们再次滚动更新。启用区域转移后,我们抑制了这些驱逐,防止应用程序在事件期间跨区域迁移。权衡之处在于,这取决于集群是否预先进行了扩容以度过区域故障,这也是我们其余区域韧性设计背后的假设。

事故教会了我们什么

我们的第一原则是,区域转移必须具备容错性,并且可以在任何时候安全运行。我们在其他区域预配实例,以便健康区域能够在不中断的情况下吸收满额区域的流量。为了实践这一点,我们并不止步于预生产环境和较小的区域。我们会在最大的区域(如 IAD)定期进行测试,以确保原则在最重要的地方依然成立。最大的区域(我们的规模最容易导致故障的地方)正是我们本应在真实事件发生当天才能发现差距的地方。

我们的第二原则是,检测区域故障并执行转移的系统必须依赖核心原语,而不是高阶服务。高阶服务会带来自己的依赖项和自己的区域故障模式。

当我们最需要它们时,它们往往不可用。我们将检测和转移路径建立在可用的最底层构建块上:检测器和执行器之间的状态和信号通过 S3 流动,组件运行在基础 EC2 而非其上的托管服务,整个系统跨越所有三个区域运行。它比其保护的工作负载依赖更少,这正是它在区域故障时能持续工作的原因。

我们还了解到,通过像 AWS FIS 这样的托管服务进行区域隔离测试,远比在每台主机上操作 iptables 和 eBPF 规则简单且更真实。主机级规则只会测试我们想到要阻止的路径,它们无法模拟一个区域真正消失的情况。借助 FIS,我们像真实事件一样在集群中注入真实的丢包和区域隔离。这暴露了我们手工模拟从未发现的问题,包括控制平面调用上的依赖节流错误,如果在停机期间,这将阻止恢复。

任何运行 EKS 的用户都可以使用同样的方法:FIS 可以将可用区与该区域的工作节点和 Pod 隔离,允许团队确认他们的工作负载能够度过区域故障,而不是仅仅假设它们可以。

如何开启

ARC 可用区转移和可用区自动转移(zonal autoshift)在 Amazon EKS 中无需额外费用(你只需支付所运行实例的费用),它们仅作用于 Kubernetes 数据平面;EKS 托管的控制平面已跨区域分布,无论如何都会持续运行。启用该功能只需设置单个集群配置。


aws eks update-cluster-config --name my-cluster --zonal-shift-config enabled=true

你也可以在创建集群时启用它,或者通过控制台、eksctl、AWS CloudFormation 或 Terraform 启用,无需重建或停机。一旦启用,你的集群在 ARC 中显示为受管资源,具有两种操作模式。要自行响应受损,请从 ARC 控制台、AWS CLI 或区域转移 API 启动区域转移,指定区域和过期时间。

转移的设计是暂时的,你可以延长或取消它们。要将决策权交给 AWS,请在资源上启用可用区自动转移。AWS 会监控 AZ 的健康状况,在检测到受损时自动转移,并在区域恢复时结束转移。自动转移还提供预定的练习运行(大约每周一次),在受控条件下将你移出某个区域,这样你就可以在真实事件迫使你发现之前,了解你的集群能否处理这种损失。

该功能只有在你的集群能够处理区域丢失时才有用,这取决于你自己。将工作节点分散在多个 AZ 中,并为每个工作负载运行多个副本(带有拓扑分布约束),包括 CoreDNS,以便服务发现能在区域丢失时幸存。预先扩容并超额预配,以便健康区域能吸收离开区域的负载。

转移可以在几秒钟内移动流量,但启动新节点不能,在真实的受损期间,你需要的容量可能存在竞争。使用 Pod 亲和性将相互依赖的 Pod 放在同一区域,以便单个区域丢失不会切断多服务的请求路径。

“在关联故障期间,自动化系统能做的最有价值的事情就是保持静止。”

作为安全网,如果一个工作负载的所有端点都在受损区域中,EKS 将继续向那里发送流量,而不是将其丢弃(blackholing),但这只是一个回退方案,而不是计划。

所有这些工作的面向客户的表面旨在做到“不引人注目”:在区域事件期间,你的流量会移动到健康区域,你的控制平面会继续响应,你的容量会被保留而不是被搅乱。如果你选择了自动转移,它会静默发生,无需告警。这种安静就是目标,它源于一个准则:在关联故障期间,自动化系统能做的最有价值的事情就是保持静止。

作为 EKS 操作员,你需要关注的事情虽小但很值得。将工作负载分散在多个区域中,确保幸存者能够承载全部负载,并测试你的应用程序确实能够度过区域短缺。把这些做好,一个区域宕机就会变成你事后才读到的新闻,而不是你通宵调试的问题。要了解更多信息并启用区域转移,请参阅我们的 AWS 文档[5]。

引用链接

[1] What running Kubernetes across millions of clusters taught AWS about zonal failures: https://thenewstack.io/eks-zonal-shift-resilience/
[2] EKS 控制平面: https://thenewstack.io/eks-kubernetes-etcd-scale/
[3] 常见的故障模式: https://thenewstack.io/how-to-get-dns-right-a-guide-to-common-failure-modes/
[4] 观察大型集群在没有此保护下发生的情况: https://thenewstack.io/kubernetes-auditing-and-events-monitoring-cluster-activity/
[5] AWS 文档: https://docs.aws.amazon.com/eks/latest/userguide/zone-shift.html

 

【声明】内容源于网络
0
0
云云众生s
1234
内容 1363
粉丝 0
云云众生s 1234
总阅读0
粉丝0
内容1.4k