大数跨境

OpenAI 将 ChatGPT 大规模宕机归咎于“新的遥测服务”

OpenAI 将 ChatGPT 大规模宕机归咎于“新的遥测服务” 海外洞察
2024-12-13
3
导读:OpenAI 将其历史上最长的宕机事件之一归咎于一个出问题的“新遥测服务”。周三,OpenAI 的 AI 驱动聊天机器人平台

OpenAI将史上最长停机归咎于“失控的新遥测服务”

周三太平洋时间下午3点左右,OpenAI旗下ChatGPT、Sora视频生成器及开发者API均发生重大中断。尽管公司迅速响应并着手修复,但全面恢复服务仍耗时约三小时。

在周四发布的事故复盘报告中,OpenAI澄清此次停机并非由安全事件或新产品发布引起,而是源于周三部署的一项用于收集Kubernetes指标的遥测服务。该新服务的配置无意中引发了资源密集型的Kubernetes API操作,导致API服务器不堪重负,进而使多数大型集群的控制平面瘫痪。

通俗而言,这项新服务干扰了OpenAI的Kubernetes运行,特别是影响了DNS解析等关键资源(即域名与IP地址的转换机制)。同时,现有的DNS缓存技术延迟了问题的可见性,致使团队在未完全掌握全貌前继续推送了该服务,加剧了事态。

OpenAI表示,虽在客户受影响前数分钟便检测到异常,但因需绕过过载的Kubernetes服务器,无法快速实施修复。公司坦言:“这是多个系统和流程同时失效并意外交互的结果。测试未能捕捉到变更对控制平面的影响,且锁定效应导致补救缓慢。”

为防止类似事件重演,OpenAI承诺将改进分阶段发布流程,加强基础设施变更监控,并建立新机制以确保工程师在任何情况下都能访问Kubernetes API服务器。公司对此向所有用户及企业客户深表歉意,承认“未能达到自身期望”。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k