大数跨境

为什么Kubernetes集群仪表盘正常却仍不断增加节点?

为什么Kubernetes集群仪表盘正常却仍不断增加节点? 云云众生s
2026-03-14
0
导读:文章指出,Kubernetes集群在仪表盘显示正常时仍增加节点,主要原因是Pod请求值设置过高且未及时更新,导致调度器认为节点已满,自动扩缩器误增容量。建议通过比对请求与实际使用量来识别并调整这些“漂

 


文章指出,Kubernetes集群在仪表盘显示正常时仍增加节点,主要原因是Pod请求值设置过高且未及时更新,导致调度器认为节点已满,自动扩缩器误增容量。建议通过比对请求与实际使用量来识别并调整这些“漂移”的请求值,以优化资源利用。

译自:Why is your Kubernetes cluster adding nodes when the dashboards look fine?[1]

作者:Yasmin Rajabi

Kubernetes一直对糟糕的输入很敏感。变化的是团队遇到这种情况的频率。随着更多突发性工作负载——尤其是推理——落在Kubernetes上,一种熟悉的模式出现得更频繁:即使利用率看起来正常,集群也会增加节点。CNCF的最新年度调查[2]将Kubernetes描述为生产运行AI的默认平台,这意味着更多的团队现在正在感受调度和自动扩缩行为的边缘,而这些行为过去一直隐藏在幕后。

如果你曾经查看一个集群,并疑惑为什么当仪表盘显示有足够的余量时它却在添加节点,你不是一个人。这通常发生在Cluster Autoscaler或Karpenter已经部署到位,并且明显的容量问题,如节点大小不当、约束过紧或整合设置已经清理之后。

然而容量却一直在悄悄增加。这是为什么呢?

大多数情况下,这不是因为Cluster Autoscaler或Karpenter配置错误。而是输入问题。请求通常是凭猜测并加上一些安全缓冲设置的,而且它们不总是随着工作负载的变化而重新审视。

令人困惑的是,指标看起来正常

你盯着的图表可能看起来很平静,但当你查看许多集群时,迹象会以熟悉的顺序出现:

  • • 集群范围的CPU和内存图表表明有
  • • 调度器仍然无法放置新的Pod。
  • • Pod处于Pending状态。
  • • 容量被添加,以便那些Pod可以落地。

从外部看,当集群不应该扩缩时,它却在扩缩[3]。但从内部看,它正在做它被设计做的事情:根据声明的预留保守地放置Pod。

调度器根据请求放置和打包Pod。使用图表不计入放置决策。

因此,当请求漂移很高时,节点在实际使用量达到之前就被视为已满。一旦调度器无法放置Pod,自动扩缩器就会添加足够的容量,以便Pod可以落地,这时集群就开始增长,即使使用仪表盘看起来仍然正常。

这在运行良好的集群中也会出现

请求漂移不需要一个混乱的环境。实际上,原因通常很无聊。

一个服务发生事件,有人提高请求以使其稳定。事件消退,请求值保持不变,没有人愿意成为那个降低它们并发现它们掩盖了一个真正问题的人。

默认值被标准化,因为团队需要一种发布方式[4],而这些默认值在没人记得它们为什么被选择很久之后,仍然被复制到新服务中。

工作负载会改变。流量模式会改变。依赖关系会改变。一个季度前合理的请求,在发布、新的客户资料或一个悄悄成为日常基线一部分的批处理作业之后可能会失准。

推理工作负载会更快地暴露出这个问题,因为副本数量会迅速变化,一个填充过的请求不会长时间保持小。无论哪种方式,你最终都会出现漂移:旧值在YAML中幸存下来,因为没有什么强制它们被重新审视。

当扩缩感觉不对劲时要问的第一个问题

相反,我首先要问的问题是:我们的请求是否仍然与这些工作负载今天的运行方式相似?

如果请求被夸大,那么调度器会阻止那些本应能适应的放置[5],如果你是根据使用情况来看的话。打包看起来比应有的糟糕,所以自动扩缩器会添加节点以满足预留,而不是实际压力。整合无法拯救你,因为集群在纸面上已满。

你不是要精确地确定完美的数字。你只是想让请求回到合理的范围,这样调度器和自动扩缩器就不会再放大过时的预留。

如何确认漂移而无需将其变成一个项目

你可以很快地进行健全性检查。从主导容量的少数几个命名空间开始,进行一两周的两次检查。

首先,比较请求和一段时间内的可观测使用量。不是单一快照。寻找日复一日重复出现的差距。

其次,查看工作负载扩缩时发生的情况。当副本增加时,填充不会保持小。如果一个部署在负载下从5个副本增加到50个副本,一点点额外的请求会迅速变成大量的预留容量。

一旦请求被夸大且副本增加,额外的节点就是预期的结果。

在不将其变成计费对话的情况下,成本分配如何提供帮助

分配视图在这里会有帮助,因为它们使基线驱动因素更容易看到,即使你没有进行费用分摊。

当请求被夸大时,同样的 mismatches 倾向于浮现:分配看起来很高,而使用看起来很低,而共享开销变成了没人能清楚解释的部分。通常工具说的是实话——它只是显示了预留容量、安全余量和每个人都依赖的共享服务的令人不舒服的混合。

有用的问题很实用:

  • • 哪些命名空间或服务是最大的“罪魁祸首”?
  • • 这个差距是由少数稳定工作负载驱动的,还是由剧烈扩缩的突发驱动的?
  • • 这个差距有多少是共享服务/空闲余量,有多少是直接工作负载占用?

一旦这些类别明确,对话就会变得更直接。你不再争论输出,而是开始查看最大的差距。

摆脱困境通常比感觉的要小

这就是团队有时会过度规划的地方。你通常可以通过从小部分工作负载开始获得进展。

从主导基线容量的少数几个服务开始。如果你将这些请求调整回正常范围,打包会改善,自动扩缩器就会停止追逐不真实的预留。这通常是集群停止感觉莫名其妙扩缩的时候。

另一个成败因素是部署安全性。如果请求更改可靠地产生寻呼机噪音,没有人会继续这样做。填充的值会一直存在,因为它们感觉更安全。

因此,可持续的方法是故意无聊的:逐步进行更改,使回滚变得容易,并围绕[6]你愿意采取的激进程度设置防护措施。一旦团队相信请求更改不会破坏稳定性,漂移就会变得可管理而不是永久的。

当漂移得到控制时会发生什么变化

当请求更接近现实时,一些事情就不再奇怪了。

调度器可以更清晰地打包工作负载。待处理的Pod与实际需求而非过时预留保持一致。自动扩缩在有实际压力时增加容量,而不是因为请求预留了空闲空间。

分配也更容易解释,主要是因为共享开销是可见的,而不是隐藏在[7]每个人的数字中。

如果容量一直在悄悄增加,并且集群级别的调整不起作用,请从预留最多的工作负载开始。比较请求和一段时间内的使用量。如果它们相距甚远,你可能已经找到了奇怪扩缩行为背后的驱动因素。

引用链接

[1] Why is your Kubernetes cluster adding nodes when the dashboards look fine?:https://thenewstack.io/why-is-your-kubernetes-cluster-adding-nodes-when-the-dashboards-look-fine/
[2]最新年度调查:https://www.cncf.io/announcements/2026/01/20/kubernetes-established-as-the-de-facto-operating-system-for-ai-as-production-use-hits-82-in-2025-cncf-annual-cloud-native-survey/
[3]却在扩缩:https://thenewstack.io/kubernetes-gets-back-to-scaling-with-virtual-clusters/
[4]团队需要一种发布方式:https://thenewstack.io/think-like-a-developer-to-help-dev-teams-ship-faster/
[5]调度器会阻止那些本应能适应的放置:https://thenewstack.io/webassembly-needs-schedulers-and-kubernetes-doesnt-quite-fit-the-bill/
[6]围绕:https://thenewstack.io/how-to-put-guardrails-around-containerized-llms-on-kubernetes/
[7]共享开销是可见的,而不是隐藏在:https://thenewstack.io/apple-insiders-share-the-story-of-the-birth-of-the-macintosh/

 

【声明】内容源于网络
0
0
云云众生s
1234
内容 1363
粉丝 0
云云众生s 1234
总阅读0
粉丝0
内容1.4k