10个关键问题Q&A
Q1:Netflix 原有 MELT 体系为什么不足以支撑高效排障? A1:MELT 只是原始观测信号,分散在不同工具,实体定义、命名不一致,缺少统一语义关联,缺少历史故障与人工复盘知识。
Q2:文中的本体(Ontology)作用是什么? A2:是运维实体、属性、关系的形式化规范,统一术语,提供机器可读、可校验、可查询的共识语义模型。
Q3:为什么放弃通用 Service 类型,改用 ops:Application? A3:Service 在不同系统歧义很大,强类型 Application 搭配权威软件目录校验,避免脏数据进入图谱。
Q4:QuipuDB 是什么? A4:Netflix 自研分布式 RDF 四分图数据库,底层基于 Redb,同时输出 Turtle 文件用于归档比对。
Q5:如何解决 LLM 概率输出不稳定的问题? A5:通过本体和 SHACL 类型约束输出空间,限定合法三元组,让随机过程最终产出稳定可查询的图谱。
Q6:富集器 Enricher 为什么顺序执行而非并行? A6:消除写入竞态,后序富集器可以依赖前面生成的三元组,换取更高准确性,外部调用采用尽力模式不阻断流程。
Q7:关联引擎会直接输出确定根因结论吗? A7:不会,只输出附带证据、置信分的假设链,低于 0.6 置信直接丢弃,交给工程师或上层智能体核验。
Q8:知识飞轮的闭环逻辑是什么? A8:采集观测信号→结构化富集为三元组→推理挖掘关联模式→将有效模式沉淀为检测规则,持续迭代积累运维经验。
Q9:本体如何支撑 AutoRCA 多智能体协作? A9:本体是统一语义层,各个领域智能体只读写同一套三元组,不需要理解其他系统,新增智能体可直接复用已有上下文。
Q10:这套方案给 AIOps 落地最重要的启示是什么? A10:AIOps 优先要解决实体治理与语义底座,而不是直接上大模型;人的故障推理经验和机器指标同等重要。
附录:本体驱动的可观测性:面向 Netflix 规模构建端到端知识图谱
作者:P Vijayanathan、Renzo Sanchez-Silva阅读时长:13 分钟|发布于 2026 年 10 月 16 日标签:知识图谱、可观测性、本体、生成式 AI
2024 年 11 月,杰克・保罗与迈克・泰森拳击赛开赛时,我们支撑了约 6500 万并发直播流。在日常时段,基础设施每秒要接收超 20 亿次请求、处理高达 3800 万条实时日志事件。在这样的规模下,整套系统全貌,单靠任何一个工程团队都无法全盘掌握,也无法全部塞进一块监控大盘里。随着直播内容、播客和实时流业务持续增多,我们必须以最快速度理解系统、迭代系统,才能保障良好用户体验。在这样的规模下、紧迫的排障时限里定位问题,常常如同蒙着眼,在漆黑的莽林中捞一根针。
本文讲述的,就是这场 “捞针” 的探索。
故障修复前的四小时
不妨看一个我们每周都会遇到的回归故障场景:用户首页(成片影视列表页面)渲染耗时无故多出约 1.5 秒。告警触发,接下来我们就要追查问题根源、制定修复方案。
这类应用侧的性能退化,诱因可能遍布系统各处:新版本客户端发布、A/B 实验放量引发客户端异常;基础设施启动限流;或是下游经过 6 层服务转发后,某服务发布导致 GraphQL 接口返回脏数据 —— 这些全都是可疑对象。想要回答 “问题由何而起”,就必须打通全系统数据,逐层仔细排查。
MELT 层
“问题由何而起?”行业里常用缩写 MELT 指代指标(Metrics)、事件(Events)、日志(Logs)、追踪链路(Traces),它们正是故障排查的原始素材,每一类只能回答四分之一的疑问。我们采集这四大支柱的可观测数据,统一接入一层可观测数据平台。借此我们能够实时观测系统:用户侧真实体验、应用运行状态、后端基础设施与服务的处理和响应情况。
后续排查,往往会逐层在 MELT 数据中寻找线索,而每一层数据,都有它能说明的信息,也有它覆盖不到的盲区。
一次排查的时间线
定位问题、找到根因并修复,让用户不再遭遇故障,这个过程究竟要多久?上面这个案例里,耗时足足四小时。其中真正用于复杂计算的时间极少,绝大部分时间,都花在重建各类关联关系上 —— 这些关联信息其实早已存在于可观测平台,但过去没有形成一套人和机器都能直接读取、检索的结构化记录。
隐藏的核心矛盾
放到 2023 年,大家第一反应或许是:采集更多数据、做更炫酷的大盘。但这两者只能小幅优化,无法解决排查缓慢的根本问题。
放到 2026 年,大家又会想到 “智能体”。可如果没有给到智能体准确的上下文,AI 系统很容易产生幻觉。值班工程师需要立刻修复故障的紧急场景下,绝不能依靠失真的智能分析把排障带偏。我们要找到真正的那根针,而不是随便一根相似的针。
Netflix 内部各个系统本身逻辑自洽,但彼此互相隔离:遥测平台 Atlas 记录应用与时序指标;告警系统 Radar 维护告警阈值与触发记录;incident.io 记录故障等级与响应人;PagerDuty 管理值班轮班;Spinnaker 记录发布内容与发布时间;Slack 对话里藏着上季度哪位工程师解决过同类问题、当时发现了什么线索,但查询引擎根本无法读取这类信息。
最大难点在于:各个系统对同一个事物的定义互不统一。在 A 系统里叫 “应用” 的实体,在 B 系统叫 “服务”,到 C 系统又叫 “集群”;名称差异可能只是后缀、大小写,或是一次只有少数专家知情的改名。想要跨系统关联数据,只能靠工程师把映射关系记在脑子里,这些专家就成了跨域排查的瓶颈。端到端可观测性的核心难题,本质上是一个数据建模问题。
我们缺少一份显式、机器可读的统一约定,用来描述运维世界里所有实体。
本体
这份约定,就叫做本体(Ontology)。本体是对实体类型、实体属性、实体合法关系的形式化定义。本体的基础单元是三元组,一条事实表达为:主语 - 谓词 - 宾语。请看下面的三元组示例:
api-gateway rdf:type ops:Application .api-gateway ops:ownedBy ”Bedrock团队” .api-gateway ops:deployedIn ”us-east-1区域” .INC-5377 rdf:type ops:Incident .INC-5377 ops:affects api-gateway .INC-5377 ops:severity ”二级故障 SEV 2” .
上面这段编码了 6 条事实。一条查询,就可以回答过去要在三个系统来回查找的问题:
有哪些故障影响了部署在 us-east-1 区域、归属 Bedrock 团队的应用?
而不用分别去故障平台、Spinnaker 发布平台、Radar 告警系统逐一检索。
我们把这套本体层命名为可观测本体(Observability Ontology)。它相当于一份规约、一套规则、一份统一共识,标准化不同系统对应用、服务、故障、发布等实体的理解。
我们基于 W3C 标准栈搭建:RDF 作为数据模型,OWL 定义本体,SHACL 做数据校验,SPARQL 用于查询。这套标准规范完备、实现方案丰富,保证模型在不同图存储之间具备可移植性。
本体数据以知识图谱形式,持久化存储在 QuipuDB—— 我们自研的 RDF 四分图数据库,是基于 Rust 嵌入式 KV 库 Redb 搭建的分布式四分存储。原始遥测数据、日志、故障讨论文本,经过解析转化为三元组(主语 - 谓词 - 宾语事实),入库形成图谱。
每一轮数据采集,都会导出完整的 Turtle 格式文件归档。它既方便人阅读,也支持差异比对,调试价值远超我们最初预期。
本体划分为 12 个命名空间,每个命名空间对应一块运维业务域。
搭建本体时,有两个关键设计决策值得分享:第一,我们摒弃了通用的 “服务(Service)” 类型。在内部工具链里,“服务” 一词有四种截然不同的含义。因此应用统一固定为单一类型ops:Application;实体创建前,必须和我们约 49000 条记录的软件目录做校验。网络拓扑里抓取的用户名、团队名、依赖名称这类未校验字符串,不能直接作为应用实体。同时我们双向限制依赖边的数量:一个核心热门服务会有成千上万个反向依赖,不加限制会让图谱局部膨胀、失衡。
第二个决策,是确定建模范围。故障群聊记录里藏着故障背后的推理过程:工程师尝试过哪些假设、哪些方案被排除、最终生效的缓解手段、谁掌握背后原理。一旦对话停止,这些知识就容易流失。一条包含 200 条消息、50 人参会、关联 15 个服务的故障 Slack 会话,会被结构化处理,把混乱的故障讨论,转化成有序的三元组。
在不确定性中构建确定性
构建这套图谱,依赖的工具本身具备随机性:大模型总结对话、模糊匹配对齐服务名称、概率推理引擎推导因果链。它们无法每次输出完全一致的结果,但整套系统最终产出的图谱是确定性的:同一条 SPARQL 查询,每次返回结果完全相同。
本体就是实现这份确定性的核心机制,整套流水线如同一条 “降熵阶梯”—— 熵代表还停留在非结构化文本里、无法被机器利用的信息。举个例子:流水线入口处,大模型可以自由生成自然语言,但输出内容不能生成违背类型体系的三元组。我们严格收缩输出空间,让随机的处理流程,最终遵守一份确定性契约:
# 模型可以输出任意自然文本,但输出三元组必须满足以下谓词约束:category 取值范围sentiment 取值范围# 最终产出一条确定性三元组示例:thread:123 slack:category ”incident” .thread:123 slack:isIncidentRelated ”true”^^xsd:boolean .
整条降熵阶梯分为五层。单独每一步都可能是随机的,但整条链路组合后,输出具备确定性。这个反转,就是整套方案的核心巧思。
富集器:作为降熵智能体
我们使用**富集器(Enricher)**降低知识图谱的信息熵。数十个富集器在图谱上持续运行。每个富集器接收嘈杂原始输入,输出带类型约束的三元组,并且可以读取前面富集器已经写入图谱的内容。富集器的接口契约刻意设计得简单收敛:
class Enricher:async def _enrich_async(self, ...):raw = await self.fetch(...)# 1. 获取嘈杂原始数据result = self.analyze(raw)# 2. 处理(该步骤可以是随机的)graph.add((uri, RDF.type, OPS.X))# 3. 写入带类型三元组graph.add((uri, OPS.pred, Literal(result.value)))return EnrichmentResult(success=True, triples_added=count)
所有富集器遵守三条不变约束:
-
每一个实体都带有 rdf:type类型声明 -
所有 URI 遵循同一套命名规范 ops:Application实体必须经过软件目录准入校验
还有两条运维层面的设计选择:富集流水线顺序执行:加载图谱、追加三元组、保存。顺序执行彻底消除一大类竞态问题;代价是耗时更长,但我们可以接受。调用指标、日志、事件等外部系统接口采用尽力而为策略:下游接口响应缓慢,不会阻断图谱采集流程,仅会造成部分数据质量降级。与此同时,我们正在把其他独立系统也建模接入本体,例如指标本体、告警本体,最终实现所有数据都可以通过本体统一查询。
关联引擎:寻找关联链路
关联引擎汇聚来自多源海量信号,提炼出事件之间的因果链或相关链。目前引擎支持 13 类信号:日志报错、指标异常、慢追踪、失败追踪、告警、故障、发布、配置变更、实验、弹性扩缩容、代码提交、端到端瓶颈、错误模式。引擎在信号之间寻找路径。部分有序组合是已知因果,拥有较高先验权重:例如发布在前、日志报错在后;配置变更在前、指标异常在后;追踪失败在前、故障发生在后。其余高相关性组合,则归为相关链。链路会基于时间邻近度、故障严重程度打分,时间窗口限定 10 分钟内;置信分数低于 0.6 的链路直接丢弃。
引擎只负责提供带证据的假设,不会直接下结论。所以引擎会把链路,连同推导这条链路用到的图谱原始记录一起保存。示例里置信 0.87 的链路,是交给工程师或上层智能体验证的强假设;图谱同时记录置信度,消费方能够理解这条假设的由来,辅助决策。
知识飞轮
每一轮图谱采集循环,都重复四个步骤;每一轮循环,图谱都比上一轮更丰富。这就是知识飞轮,持续富集、持续完善图谱内的系统上下文。
-
观测:采集信号 -
富集:写入带类型三元组 -
推理:挖掘原始数据中看不见的模式 -
自适应:沉淀模式,转化为检测规则
四轮循环持续叠加,形成自优化系统。一次故障中发现的因果链路,会成为后续故障的已知模式;本体慢慢不再只是一份静态 Schema,而变成一套运维记忆。
举个例子:网关因超时引发故障,我们解决问题后,把这条经验编码进本体。多次循环沉淀后,图谱学习到规律,形成运维经验:“网关发布变更,会造成 40% 的二级故障”,“网关 30% 的发布类故障根源是连接超时”。把这类洞察展示出来,我们就能主动减少故障,而不只是被动响应。
图谱落地应用
图谱之上,是我们内部 AI 智能体根因分析系统 AutoRCA,由多个专业智能体协同,围绕同一个排障目标工作。回到文章开头首页渲染变慢的案例,这套智能体系统的推理链路大致是:
不同领域的专业智能体,由熟悉对应领域的专家开发。这种分工模式成立的前提:各个专业智能体可以互相传递结论,而不需要提前对齐术语、甚至不需要感知对方存在。本体就是这套统一接口。负责追踪链路的智能体输出关于ops:Application的三元组;日志智能体读取同一个ops:Application对应的三元组,二者不需要互相感知。新增一个领域智能体,只需要学习这套统一词汇,就能直接读取其他智能体已经沉淀的全部信息。
对比开篇的排障场景,这套方案带来的改变并没有听起来那么颠覆:告警依旧准时弹出,工程师依然要核验证据,修复代码依旧要人编写。原本耗费一两个小时、用来拼凑上下文的工作 —— 找到负责团队、梳理发布记录、跨系统关联信息、回忆历史同类故障 —— 交给本体和图谱完成。项目目前尚在早期,部分高分假设依然会出错,所以每一条假设都附带原始证据。但工程师开始排查时,已经拿到过去要花大半天才能拼凑完成的全貌。
如果你打算搭建同类系统
我们踩了很多坑,才有现在这套体系。基于经验,如果重新再来,我们会坚守下面这些原则:
-
优先建模实体身份:每一类实体选定唯一权威目录,实体入库前强制校验。 -
本体即代码:版本管理、评审、测试,变更走 PR 流程。本体代码化,方便智能体参与迭代、支撑大规模团队共建。 -
区分概念和实例:概念变化周期以年计,实例高频变动;混在一起,两者都难以迭代。 -
基于开放标准搭建:RDF、OWL、SHACL、SPARQL 成熟通用、生态丰富。自研私有图模型,会绑定后续所有使用者。 -
用类型系统约束随机工具:这是我们最坚持的原则。大模型的价值,恰恰在无法保证确定性的场景;收缩输出契约,就能把随机输出转为查询引擎可信的数据。 -
富集流程有序、尽力执行:下游依赖慢了,最多降级图谱质量,不能阻断整体流程;富集器串行执行,后序依赖前序产出,换取更高准确率,接受并行提速的取舍。 -
同时建模机器遥测与人的推理:图谱里价值最高的边,大多来自对话记录。遥测记录系统做了什么;对话记录人的理解、推理。这些经验沉淀下来,才是故障排查最宝贵的智慧。 -
人保留最终审批权:智能体可以提出修复方案、富集规则、本体修改建议,所有提案都走人工评审流程,人在回路。
后续规划
图谱支撑三件事:第一,自动根因分析,故障发生时直接附带图谱支撑、排序后的假设清单;第二,自动处置,高置信诊断附带执行动作,例如定向回滚、流量切换、代码修复;长远目标是基础设施自愈,在用户感知故障之前,基于预测提前干预。
与此同时,我们计划把可观测本体和 Upper 打通。Upper 是 Netflix 统一数据架构 UDA 的核心领域建模语言,允许团队用机器可读的方式描述业务和系统域,约束可以持续传递到下游 Schema 和系统。打通后,应用、告警、发布、故障这类运维概念,可以和 Netflix 全域其他业务域模型打通,给工程师、智能体提供一套统一的语义查询、校验、推理底座。我们会先做概念验证,用 Upper 建模故障实体,再根据验证结果,决定两套系统融合方向。
致谢
这套系统离不开各个团队提供数据、专业支持,包容早期版本的不足。特别感谢团队成员 Kaela Marsheck、Aditya Gaur。也感谢本体工作组 Peter Royal、Alex Hutter,以及 Alexandre Bertails、UDA / 知识底座团队,分享 Upper 领域建模能力,协助我们探索可观测本体如何成为 Netflix 全域语义基础的一部分。
插图:

