大数跨境

本体驱动可观测性:Netflix 大规模运维知识图谱实践

本体驱动可观测性:Netflix 大规模运维知识图谱实践 苏哲管理咨询
2026-11-07
14
导读:Netflix 在日均 20 亿请求、每秒 3800 万日志事件的超大规模环境下,传统 MELT(指标、事件、日志、链路追踪)数据分散在多个独立平台,实体定义不统一,跨系统排障依赖专家,单次故障定位平
编者摘要:Netflix 在日均 20 亿请求、每秒 3800 万日志事件的超大规模环境下,传统 MELT(指标、事件、日志、链路追踪)数据分散在多个独立平台,实体定义不统一,跨系统排障依赖专家,单次故障定位平均耗时 4 小时,裸大模型排障还容易产生幻觉。团队基于 RDF/OWL/SHACL/SPARQL 构建可观测本体,用三元组统一描述运维实体与关系,自研 QuipuDB 存储知识图谱,强校验应用实体,同时录入故障沟通里的人工推理信息。通过有序富集流水线,将 LLM、模糊匹配等概率化输出约束为确定性图谱;关联引擎采集 13 类信号,按时间窗口生成带置信度的关联链。整套体系形成 “观测 - 富集 - 推理 - 反馈” 知识飞轮,沉淀历史故障经验。上层支撑 AutoRCA 多智能体根因分析,本体作为统一语义接口。文中给出 8 条落地原则,长期目标是自动根因、自动处置、基础设施自愈,并计划和 Netflix 全域 UDA 领域建模体系打通。

10个关键问题Q&A

Q1:Netflix 原有 MELT 体系为什么不足以支撑高效排障? A1:MELT 只是原始观测信号,分散在不同工具,实体定义、命名不一致,缺少统一语义关联,缺少历史故障与人工复盘知识。

Q2:文中的本体(Ontology)作用是什么? A2:是运维实体、属性、关系的形式化规范,统一术语,提供机器可读、可校验、可查询的共识语义模型。

Q3:为什么放弃通用 Service 类型,改用 ops:Application? A3:Service 在不同系统歧义很大,强类型 Application 搭配权威软件目录校验,避免脏数据进入图谱。

Q4:QuipuDB 是什么? A4:Netflix 自研分布式 RDF 四分图数据库,底层基于 Redb,同时输出 Turtle 文件用于归档比对。

Q5:如何解决 LLM 概率输出不稳定的问题? A5:通过本体和 SHACL 类型约束输出空间,限定合法三元组,让随机过程最终产出稳定可查询的图谱。

Q6:富集器 Enricher 为什么顺序执行而非并行? A6:消除写入竞态,后序富集器可以依赖前面生成的三元组,换取更高准确性,外部调用采用尽力模式不阻断流程。

Q7:关联引擎会直接输出确定根因结论吗? A7:不会,只输出附带证据、置信分的假设链,低于 0.6 置信直接丢弃,交给工程师或上层智能体核验。

Q8:知识飞轮的闭环逻辑是什么? A8:采集观测信号→结构化富集为三元组→推理挖掘关联模式→将有效模式沉淀为检测规则,持续迭代积累运维经验。

Q9:本体如何支撑 AutoRCA 多智能体协作? A9:本体是统一语义层,各个领域智能体只读写同一套三元组,不需要理解其他系统,新增智能体可直接复用已有上下文。

Q10:这套方案给 AIOps 落地最重要的启示是什么? A10:AIOps 优先要解决实体治理与语义底座,而不是直接上大模型;人的故障推理经验和机器指标同等重要。

附录:本体驱动的可观测性:面向 Netflix 规模构建端到端知识图谱

作者:P Vijayanathan、Renzo Sanchez-Silva阅读时长:13 分钟|发布于 2026 年 10 月 16 日标签:知识图谱、可观测性、本体、生成式 AI

2024 年 11 月,杰克・保罗与迈克・泰森拳击赛开赛时,我们支撑了约 6500 万并发直播流。在日常时段,基础设施每秒要接收超 20 亿次请求、处理高达 3800 万条实时日志事件。在这样的规模下,整套系统全貌,单靠任何一个工程团队都无法全盘掌握,也无法全部塞进一块监控大盘里。随着直播内容、播客和实时流业务持续增多,我们必须以最快速度理解系统、迭代系统,才能保障良好用户体验。在这样的规模下、紧迫的排障时限里定位问题,常常如同蒙着眼,在漆黑的莽林中捞一根针。

本文讲述的,就是这场 “捞针” 的探索。

故障修复前的四小时

不妨看一个我们每周都会遇到的回归故障场景:用户首页(成片影视列表页面)渲染耗时无故多出约 1.5 秒。告警触发,接下来我们就要追查问题根源、制定修复方案。

这类应用侧的性能退化,诱因可能遍布系统各处:新版本客户端发布、A/B 实验放量引发客户端异常;基础设施启动限流;或是下游经过 6 层服务转发后,某服务发布导致 GraphQL 接口返回脏数据 —— 这些全都是可疑对象。想要回答 “问题由何而起”,就必须打通全系统数据,逐层仔细排查。

MELT 层

“问题由何而起?”行业里常用缩写 MELT 指代指标(Metrics)、事件(Events)、日志(Logs)、追踪链路(Traces),它们正是故障排查的原始素材,每一类只能回答四分之一的疑问。我们采集这四大支柱的可观测数据,统一接入一层可观测数据平台。借此我们能够实时观测系统:用户侧真实体验、应用运行状态、后端基础设施与服务的处理和响应情况。

后续排查,往往会逐层在 MELT 数据中寻找线索,而每一层数据,都有它能说明的信息,也有它覆盖不到的盲区。

一次排查的时间线

定位问题、找到根因并修复,让用户不再遭遇故障,这个过程究竟要多久?上面这个案例里,耗时足足四小时。其中真正用于复杂计算的时间极少,绝大部分时间,都花在重建各类关联关系上 —— 这些关联信息其实早已存在于可观测平台,但过去没有形成一套人和机器都能直接读取、检索的结构化记录。

隐藏的核心矛盾

放到 2023 年,大家第一反应或许是:采集更多数据、做更炫酷的大盘。但这两者只能小幅优化,无法解决排查缓慢的根本问题。

放到 2026 年,大家又会想到 “智能体”。可如果没有给到智能体准确的上下文,AI 系统很容易产生幻觉。值班工程师需要立刻修复故障的紧急场景下,绝不能依靠失真的智能分析把排障带偏。我们要找到真正的那根针,而不是随便一根相似的针。

Netflix 内部各个系统本身逻辑自洽,但彼此互相隔离:遥测平台 Atlas 记录应用与时序指标;告警系统 Radar 维护告警阈值与触发记录;incident.io 记录故障等级与响应人;PagerDuty 管理值班轮班;Spinnaker 记录发布内容与发布时间;Slack 对话里藏着上季度哪位工程师解决过同类问题、当时发现了什么线索,但查询引擎根本无法读取这类信息。

最大难点在于:各个系统对同一个事物的定义互不统一。在 A 系统里叫 “应用” 的实体,在 B 系统叫 “服务”,到 C 系统又叫 “集群”;名称差异可能只是后缀、大小写,或是一次只有少数专家知情的改名。想要跨系统关联数据,只能靠工程师把映射关系记在脑子里,这些专家就成了跨域排查的瓶颈。端到端可观测性的核心难题,本质上是一个数据建模问题。

我们缺少一份显式、机器可读的统一约定,用来描述运维世界里所有实体。

本体

这份约定,就叫做本体(Ontology)。本体是对实体类型、实体属性、实体合法关系的形式化定义。本体的基础单元是三元组,一条事实表达为:主语 - 谓词 - 宾语。请看下面的三元组示例:

api-gateway   rdf:type       ops:Application .api-gateway   ops:ownedBy    ”Bedrock团队” .api-gateway   ops:deployedIn ”us-east-1区域” .INC-5377      rdf:type       ops:Incident .INC-5377      ops:affects    api-gateway .INC-5377      ops:severity   ”二级故障 SEV 2” .

上面这段编码了 6 条事实。一条查询,就可以回答过去要在三个系统来回查找的问题:

有哪些故障影响了部署在 us-east-1 区域、归属 Bedrock 团队的应用?

而不用分别去故障平台、Spinnaker 发布平台、Radar 告警系统逐一检索。

我们把这套本体层命名为可观测本体(Observability Ontology)。它相当于一份规约、一套规则、一份统一共识,标准化不同系统对应用、服务、故障、发布等实体的理解。

我们基于 W3C 标准栈搭建:RDF 作为数据模型,OWL 定义本体,SHACL 做数据校验,SPARQL 用于查询。这套标准规范完备、实现方案丰富,保证模型在不同图存储之间具备可移植性。

本体数据以知识图谱形式,持久化存储在 QuipuDB—— 我们自研的 RDF 四分图数据库,是基于 Rust 嵌入式 KV 库 Redb 搭建的分布式四分存储。原始遥测数据、日志、故障讨论文本,经过解析转化为三元组(主语 - 谓词 - 宾语事实),入库形成图谱。

每一轮数据采集,都会导出完整的 Turtle 格式文件归档。它既方便人阅读,也支持差异比对,调试价值远超我们最初预期。

本体划分为 12 个命名空间,每个命名空间对应一块运维业务域。

搭建本体时,有两个关键设计决策值得分享:第一,我们摒弃了通用的 “服务(Service)” 类型。在内部工具链里,“服务” 一词有四种截然不同的含义。因此应用统一固定为单一类型ops:Application;实体创建前,必须和我们约 49000 条记录的软件目录做校验。网络拓扑里抓取的用户名、团队名、依赖名称这类未校验字符串,不能直接作为应用实体。同时我们双向限制依赖边的数量:一个核心热门服务会有成千上万个反向依赖,不加限制会让图谱局部膨胀、失衡。

第二个决策,是确定建模范围。故障群聊记录里藏着故障背后的推理过程:工程师尝试过哪些假设、哪些方案被排除、最终生效的缓解手段、谁掌握背后原理。一旦对话停止,这些知识就容易流失。一条包含 200 条消息、50 人参会、关联 15 个服务的故障 Slack 会话,会被结构化处理,把混乱的故障讨论,转化成有序的三元组。

在不确定性中构建确定性

构建这套图谱,依赖的工具本身具备随机性:大模型总结对话、模糊匹配对齐服务名称、概率推理引擎推导因果链。它们无法每次输出完全一致的结果,但整套系统最终产出的图谱是确定性的:同一条 SPARQL 查询,每次返回结果完全相同。

本体就是实现这份确定性的核心机制,整套流水线如同一条 “降熵阶梯”—— 熵代表还停留在非结构化文本里、无法被机器利用的信息。举个例子:流水线入口处,大模型可以自由生成自然语言,但输出内容不能生成违背类型体系的三元组。我们严格收缩输出空间,让随机的处理流程,最终遵守一份确定性契约:

# 模型可以输出任意自然文本,但输出三元组必须满足以下谓词约束:category 取值范围 [”incident”, ”question”, ”discussion”, ”decision”]sentiment 取值范围 [”positive”, ”neutral”, ”negative”, ”urgent”] # 最终产出一条确定性三元组示例:thread:123  slack:category          ”incident” .thread:123  slack:isIncidentRelated ”true”^^xsd:boolean .

整条降熵阶梯分为五层。单独每一步都可能是随机的,但整条链路组合后,输出具备确定性。这个反转,就是整套方案的核心巧思。

富集器:作为降熵智能体

我们使用**富集器(Enricher)**降低知识图谱的信息熵。数十个富集器在图谱上持续运行。每个富集器接收嘈杂原始输入,输出带类型约束的三元组,并且可以读取前面富集器已经写入图谱的内容。富集器的接口契约刻意设计得简单收敛:

class Enricher:    async def _enrich_async(self, ...):        raw    = await self.fetch(...) # 1. 获取嘈杂原始数据        result = self.analyze(raw) # 2. 处理(该步骤可以是随机的)        graph.add((uri, RDF.type, OPS.X)) # 3. 写入带类型三元组        graph.add((uri, OPS.pred, Literal(result.value)))        return EnrichmentResult(success=True, triples_added=count)

所有富集器遵守三条不变约束:

  1. 每一个实体都带有rdf:type类型声明
  2. 所有 URI 遵循同一套命名规范
  3. ops:Application
    实体必须经过软件目录准入校验

还有两条运维层面的设计选择:富集流水线顺序执行:加载图谱、追加三元组、保存。顺序执行彻底消除一大类竞态问题;代价是耗时更长,但我们可以接受。调用指标、日志、事件等外部系统接口采用尽力而为策略:下游接口响应缓慢,不会阻断图谱采集流程,仅会造成部分数据质量降级。与此同时,我们正在把其他独立系统也建模接入本体,例如指标本体、告警本体,最终实现所有数据都可以通过本体统一查询。

关联引擎:寻找关联链路

关联引擎汇聚来自多源海量信号,提炼出事件之间的因果链或相关链。目前引擎支持 13 类信号:日志报错、指标异常、慢追踪、失败追踪、告警、故障、发布、配置变更、实验、弹性扩缩容、代码提交、端到端瓶颈、错误模式。引擎在信号之间寻找路径。部分有序组合是已知因果,拥有较高先验权重:例如发布在前、日志报错在后;配置变更在前、指标异常在后;追踪失败在前、故障发生在后。其余高相关性组合,则归为相关链。链路会基于时间邻近度、故障严重程度打分,时间窗口限定 10 分钟内;置信分数低于 0.6 的链路直接丢弃。

引擎只负责提供带证据的假设,不会直接下结论。所以引擎会把链路,连同推导这条链路用到的图谱原始记录一起保存。示例里置信 0.87 的链路,是交给工程师或上层智能体验证的强假设;图谱同时记录置信度,消费方能够理解这条假设的由来,辅助决策。

知识飞轮

每一轮图谱采集循环,都重复四个步骤;每一轮循环,图谱都比上一轮更丰富。这就是知识飞轮,持续富集、持续完善图谱内的系统上下文。

  1. 观测:采集信号
  2. 富集:写入带类型三元组
  3. 推理:挖掘原始数据中看不见的模式
  4. 自适应:沉淀模式,转化为检测规则

四轮循环持续叠加,形成自优化系统。一次故障中发现的因果链路,会成为后续故障的已知模式;本体慢慢不再只是一份静态 Schema,而变成一套运维记忆。

举个例子:网关因超时引发故障,我们解决问题后,把这条经验编码进本体。多次循环沉淀后,图谱学习到规律,形成运维经验:“网关发布变更,会造成 40% 的二级故障”,“网关 30% 的发布类故障根源是连接超时”。把这类洞察展示出来,我们就能主动减少故障,而不只是被动响应。

图谱落地应用

图谱之上,是我们内部 AI 智能体根因分析系统 AutoRCA,由多个专业智能体协同,围绕同一个排障目标工作。回到文章开头首页渲染变慢的案例,这套智能体系统的推理链路大致是:

不同领域的专业智能体,由熟悉对应领域的专家开发。这种分工模式成立的前提:各个专业智能体可以互相传递结论,而不需要提前对齐术语、甚至不需要感知对方存在。本体就是这套统一接口。负责追踪链路的智能体输出关于ops:Application的三元组;日志智能体读取同一个ops:Application对应的三元组,二者不需要互相感知。新增一个领域智能体,只需要学习这套统一词汇,就能直接读取其他智能体已经沉淀的全部信息。

对比开篇的排障场景,这套方案带来的改变并没有听起来那么颠覆:告警依旧准时弹出,工程师依然要核验证据,修复代码依旧要人编写。原本耗费一两个小时、用来拼凑上下文的工作 —— 找到负责团队、梳理发布记录、跨系统关联信息、回忆历史同类故障 —— 交给本体和图谱完成。项目目前尚在早期,部分高分假设依然会出错,所以每一条假设都附带原始证据。但工程师开始排查时,已经拿到过去要花大半天才能拼凑完成的全貌。

如果你打算搭建同类系统

我们踩了很多坑,才有现在这套体系。基于经验,如果重新再来,我们会坚守下面这些原则:

  1. 优先建模实体身份:每一类实体选定唯一权威目录,实体入库前强制校验。
  2. 本体即代码:版本管理、评审、测试,变更走 PR 流程。本体代码化,方便智能体参与迭代、支撑大规模团队共建。
  3. 区分概念和实例:概念变化周期以年计,实例高频变动;混在一起,两者都难以迭代。
  4. 基于开放标准搭建:RDF、OWL、SHACL、SPARQL 成熟通用、生态丰富。自研私有图模型,会绑定后续所有使用者。
  5. 用类型系统约束随机工具:这是我们最坚持的原则。大模型的价值,恰恰在无法保证确定性的场景;收缩输出契约,就能把随机输出转为查询引擎可信的数据。
  6. 富集流程有序、尽力执行:下游依赖慢了,最多降级图谱质量,不能阻断整体流程;富集器串行执行,后序依赖前序产出,换取更高准确率,接受并行提速的取舍。
  7. 同时建模机器遥测与人的推理:图谱里价值最高的边,大多来自对话记录。遥测记录系统做了什么;对话记录人的理解、推理。这些经验沉淀下来,才是故障排查最宝贵的智慧。
  8. 人保留最终审批权:智能体可以提出修复方案、富集规则、本体修改建议,所有提案都走人工评审流程,人在回路。

后续规划

图谱支撑三件事:第一,自动根因分析,故障发生时直接附带图谱支撑、排序后的假设清单;第二,自动处置,高置信诊断附带执行动作,例如定向回滚、流量切换、代码修复;长远目标是基础设施自愈,在用户感知故障之前,基于预测提前干预。

与此同时,我们计划把可观测本体和 Upper 打通。Upper 是 Netflix 统一数据架构 UDA 的核心领域建模语言,允许团队用机器可读的方式描述业务和系统域,约束可以持续传递到下游 Schema 和系统。打通后,应用、告警、发布、故障这类运维概念,可以和 Netflix 全域其他业务域模型打通,给工程师、智能体提供一套统一的语义查询、校验、推理底座。我们会先做概念验证,用 Upper 建模故障实体,再根据验证结果,决定两套系统融合方向。

致谢

这套系统离不开各个团队提供数据、专业支持,包容早期版本的不足。特别感谢团队成员 Kaela Marsheck、Aditya Gaur。也感谢本体工作组 Peter Royal、Alex Hutter,以及 Alexandre Bertails、UDA / 知识底座团队,分享 Upper 领域建模能力,协助我们探索可观测本体如何成为 Netflix 全域语义基础的一部分。

插图:

【声明】内容源于网络
0
0
苏哲管理咨询
为企业及组织提供AI+战略、数智化转型咨询及观点、建议等
内容 2559
粉丝 0
苏哲管理咨询 为企业及组织提供AI+战略、数智化转型咨询及观点、建议等
总阅读98.1k
粉丝0
内容2.6k