10 个关键问题Q&A
-
Q:Netflix 为什么要做本体 + 知识图谱的可观测方案? A:多套监控工具语义割裂,跨系统排查成本极高;直接用 GenAI Agent 缺少可靠上下文,容易幻觉误导排障。 -
Q:什么是这里说的本体(Ontology)? A:一套机器可读的统一协议,定义运维里有哪些实体、属性、实体之间允许的关系,基础表达单元是三元组。 -
Q:三元组是什么? A:主语 - 谓词 - 宾语,用来描述一条事实,例如:应用 api-gateway 归属 Bedrock 团队。 -
Q:MELT 指什么? A:指标 Metrics、事件 Events、日志 Logs、追踪 Traces,可观测四大原始数据。 -
Q:增强器 Enricher 的作用是什么? A:读取噪声原始数据,借助 LLM、模糊匹配做处理,受本体类型约束,输出标准化三元组。 -
Q:既然 LLM 是不确定的,怎么保证图谱查询稳定? A:本体提供严格类型与取值约束,把随机生成的输出锁死在合法范围内,最终 SPARQL 查询结果确定。 -
Q:关联引擎怎么判断故障关联? A:汇总 13 类信号,在 10 分钟时间窗口内计算相关性与因果权重,置信度低于 0.6 的链路直接舍弃。 -
Q:知识飞轮是什么循环? A:观测采集信号 → 增强生成三元组 → 推理挖掘隐藏模式 → 把模式反哺成检测规则,持续沉淀经验。 -
Q:AutoRCA 会代替工程师修复故障吗? A:不会。它只输出带证据的根因假设;告警、人工判断、代码修复仍然由工程师完成。 -
Q:这套方案最重要的一条落地建议是什么? A:用类型系统约束大模型这类随机工具,同时保留人工审核闭环,不能完全交给 AI 决策。
附录 本体驱动的可观测性:构建 Netflix 规模下的端到端知识图谱
标签:知识图谱、可观测性、本体论、生成式 AI 原文来源:Netflix 技术博客 阅读时长:13 分钟 发布时间:2026-10-17 作者:P. Vijayanathan、Renzo Sanchez-Silva
2024 年 11 月,杰克・保罗与迈克・泰森的拳击赛事开播时,我们支撑了约 6500 万并发直播流。在日常业务中,Netflix 基础设施每秒需要承接超 20 亿次请求、处理最高 3800 万条实时日志事件。在这样的体量之下,没有任何一位工程师、单张监控大盘,能够完整掌握整个系统全貌。随着直播内容、播客与实时流媒体业务持续增多,我们必须更快理解系统状态、完成变更,才能保障优质用户体验。在这种规模下排查问题,常常如同蒙着眼,在幽暗密林的干草堆里寻找一根针 —— 困难重重。
本文讲述的,就是这场 “寻针” 之旅。
修复前的四小时
我们不妨以一个每周都可能遇到的线上劣化问题为例:用户首页(影片列表页)渲染耗时突然增加 1.5 秒。告警触发,接下来团队就要定位根因、实施修复。
这类应用劣化的诱因遍布系统各处:新版本客户端发布、A/B 实验放量引发客户端异常;基础设施的限流降级;下游经过 6 层服务转发的 GraphQL 接口返回脏数据…… 这些都有可能是元凶。想要回答 “问题由何引发”,需要打通全链路系统信息,逐层梳理海量数据。
MELT 四层可观测数据
行业里常说的 MELT,即指标(Metrics)、事件(Events)、日志(Logs)、链路追踪(Traces),正是排查问题的原始素材,四类数据各自只能回答四分之一的疑问。我们采集这四大支柱的可观测数据,整合为统一的可观测数据层,以此实时观测用户侧体验、应用运行状态、后端基础设施与服务的处理响应情况。
配图说明:MELT—— 指标、事件、日志、追踪数据在系统中的采集链路 配图说明:MELT 每一层能够提供的信息,以及各自存在的信息盲区
一次故障排查的时间线
排查问题、定位根因并完成修复,让用户不再受影响,究竟需要多久?
配图说明:一次故障排查时序:大约 4 小时
在刚才这个案例里,耗时整整四小时。其中真正用于复杂计算的时间极少,绝大多数时间都耗费在还原各类实体之间的关联关系—— 这些关联信息,可观测系统其实早就掌握,但一直没有形成机器、人员都能直接读取、检索的标准化记录。
底层矛盾:各系统语义不统一
早在 2023 年,大家第一反应往往是:采集更多数据、制作更丰富的监控大盘。但这些手段只能小幅优化,无法解决排查缓慢的核心痛点。
放到当下,很多人会想到用智能 Agent。但如果无法给 Agent 提供准确、统一的上下文,大模型很容易产生幻觉。值班工程师需要立刻拿到可行的修复方案,我们绝不能依靠失真的 Agent 分析,把排查带偏。我们要找到真正的那根针,而不是随便一根看起来像针的东西。
Netflix 内部各个系统在自身领域内逻辑自洽,但彼此之间语义割裂:
-
遥测平台 Atlas:记录应用和时序指标 -
告警系统 Radar:维护告警阈值、触发记录 -
incident.io:管理故障等级、责任人 -
PagerDuty:排班信息 -
Spinnaker:记录发布内容与发布时间 -
Slack 聊天记录:留存着谁在上季度解决过同类问题、当时定位到了什么原因,但查询引擎无法读取这类信息
最大的难题是:各个系统对同一个事物的定义无法对齐。同一个对象,在 A 系统叫 “应用”,在 B 系统叫 “服务”,在 C 系统叫 “集群”;名称后缀、大小写规范不一样,甚至还有只有少数资深专家才知道的更名历史。想要跨系统关联数据,只能依靠人脑记忆映射关系,这些专家就成了跨域排查的瓶颈。 端到端可观测性真正的难点,本质上是一个数据建模问题。
我们缺少一份机器可读、各方统一的协议,用来描述运维世界里所有实体。
本体(Ontology)
这份统一协议,就是本体。本体是对实体类型、实体属性、实体之间合法关系的形式化定义。本体的基础单元是三元组:(主语,谓词,宾语),用来描述一条事实。
下面是一组三元组示例:
api-gateway rdf:type ops:Application .
api-gateway ops:ownedBy "Team Bedrock" .
api-gateway ops:deployedIn "us-east-1" .
INC-5377 rdf:type ops:Incident .
INC-5377 ops:affects api-gateway .
INC-5377 ops:severity "SEV 2" .
这 6 条事实编码完成之后,一个原本需要切换 3 套工具才能回答的问题,现在只需要一条查询语句:
哪些故障影响了部署在 us-east-1 区域、归属 Bedrock 团队的应用?
不需要再分别去查故障平台、Spinnaker 发布系统、Radar 告警系统。
我们把这套本体体系称为可观测性本体(Observability Ontology)。它作为统一的 schema、规则集与共识标准,规范不同系统如何理解应用、服务、故障、发布单等实体。
技术栈基于 W3C 标准体系搭建:
-
RDF:数据模型 -
OWL:本体描述 -
SHACL:数据校验 -
SPARQL:查询语言
这套标准文档完善、多引擎兼容,保障模型在不同图存储之间可迁移。
本体数据以知识图谱形式,持久化存储在 QuipuDB——Netflix 自研 RDF 四元组图数据库。它是基于 Rust 嵌入式 KV 数据库 redb 实现的分布式四元存储。原始遥测数据、日志、故障讨论内容经过解析,转化为一条条三元组事实存入图谱。
每一轮数据采集同步,都会输出一份完整的 Turtle 序列化文件用于归档。Turtle 格式兼顾可读性,方便做差异对比调试,实际效果超出预期。
本体一共划分为 12 个命名空间,每个命名空间对应一块独立运维域。
配图说明:本体 12 个命名空间划分
在设计本体时,有两个关键决策值得分享:
- 摒弃通用的 “服务(Service)” 类型
在内部不同工具里,“服务” 一词有四种完全不同含义。因此我们统一使用 ops:Application作为应用唯一类型;创建实体前,必须和包含约 49000 条记录的软件目录做校验。从网络拓扑里抓取的用户名、团队名、依赖名这类未经校验的字符串,不能直接作为应用实体。同时双向限制依赖边数量,避免一个热门服务有成千上万反向依赖,造成图谱单点膨胀。 - 把故障里的人工思考过程一并建模
故障 Slack 讨论里藏着排查思路 —— 尝试过又推翻的假设、最终生效的缓解方案、每个人的判断依据。一旦故障讨论结束,这些知识很容易流失。一条包含 200 条消息、50 人参与、关联 15 个服务的故障会话,会被结构化转换成有序三元组,把混乱的故障讨论沉淀为图谱数据。
配图说明:将故障对话结构化,存入知识图谱
在不确定性中构建确定性
构建这套图谱,本身要依赖大量具有随机性的工具:大模型总结对话、模糊匹配对齐服务名称、概率引擎推断因果链路。这些工具每次运行输出不一定完全一致,但最终产出的图谱是确定的:同一条 SPARQL 查询,无论什么时候执行,返回结果保持一致。
本体就是实现 “不确定性输入→确定性结果” 的核心机制,依靠流水线持续降低信息熵。这里的熵,指还停留在非结构化形态的信息占比。举个例子:大模型自由文本输出空间很大,但输出内容不能违反本体类型约束。通过严格收缩输出范围,随机生成过程也能输出可信赖的确定事实:
# 模型可以输出任意自然语言,但输出内容必须匹配限定谓词取值:
category ∈ ["incident", "question", "discussion", "decision"]
sentiment ∈ ["positive", "neutral", "negative", "urgent"]
# 最终产出确定性三元组示例:
thread:123 slack:category "incident" .
thread:123 slack:isIncidentRelated "true"^^xsd:boolean .
整套流水线分为五层,如同降熵阶梯。单一步骤都可能带有随机性,但串联之后整体结果稳定可控。这就是这套方案的核心思路。
配图说明:五层流水线,从不确定性中生成确定性图谱
增强器(Enrichers):作为降熵智能体
我们使用增强器在图谱上持续降熵。数十个增强器在图谱上运行,每个增强器读取噪声原始数据,输出带类型约束的三元组;并且可以读取前面增强器写入图谱的结果。增强器接口设计非常简洁:
class Enricher:
async def _enrich_async(self, ...):
raw = await self.fetch(...) # 1. 获取原始噪声数据
result = self.analyze(raw) # 2. 处理(过程可能随机)
graph.add((uri, RDF.type, OPS.X)) # 3. 写入带类型三元组
graph.add((uri, OPS.pred, Literal(result.value)))
return EnrichmentResult(success=True, triples_added=count)
所有增强器遵守三条不变规则:
-
每一个实体都带有 rdf:type类型标记 -
全部 URI 遵循同一套命名规范 -
创建 ops:Application实体,必须经过软件目录校验
同时还有两条落地策略:
-
增强流水线串行执行:加载图谱、追加三元组、持久化保存。串行规避了一大类竞态问题,带来的耗时代价在我们可接受范围内。 -
调用指标、日志等外部系统接口采用尽力而为模式:下游接口变慢不会阻塞图谱采集,仅会造成部分数据质量下降。我们还在持续把各类外部系统映射进本体体系,例如指标本体、告警本体,未来所有信息都可以直接通过本体查询。
关联引擎:挖掘关联链路
关联引擎汇聚多源信号,提炼事件之间因果或者相关链路。当前引擎支持 13 类信号源:日志报错、指标异常、慢调用与失败链路、告警、故障、发布、配置变更、实验、弹性扩缩容、代码提交、端到端瓶颈、错误模式。引擎在信号之间寻找可达路径。
部分先后组合具备强先验因果权重:发布在前、日志报错在后;配置变更在前、指标异常在后;调用失败在前、故障在后等等。剩下高同步性信号组合归类为相关链路。所有链路在 10 分钟时间窗口内,根据时间接近程度、严重程度打分;置信度低于 0.6 的链路直接丢弃。
配图说明:关联引擎工作原理
引擎只负责给出带证据支撑的假设,不直接下定论。链路连同生成它用到的图谱记录一起持久化。比如置信度 0.87 的链路,是给工程师或者 Agent 核验的高优先级猜想;置信度会随结论一起保存,使用者可以溯源判断依据,自主决策。
知识飞轮
每一轮图谱采集循环分为四步,每一次循环都会让图谱信息更加丰富,形成知识飞轮,持续沉淀系统上下文:
配图说明:知识飞轮
-
观测(Observe):采集原始信号 -
增强(Enrich):生成带类型三元组 -
推理(Infer):挖掘原始数据中看不见的模式 -
适配(Adapt):把学到的模式反哺成检测规则
飞轮持续运转,系统自我迭代。一次故障里发现的因果链路,会变成后续故障识别的已知模式。本体慢慢不再只是一套静态 Schema,而变成系统的记忆库。
配图说明:知识飞轮示例
举个例子:网关超时引发故障,问题解决之后,这条经验编码进本体。多次沉淀之后图谱形成规律:网关发布变更,造成 40% 的二级故障;网关 30% 的发布问题根源是连接超时。这些洞察浮出水面之后,我们就从被动救火,转向主动降低故障发生率。
图谱落地:AutoRCA 智能根因分析 Agent
图谱上层承载着内部自研 Agent 应用 AutoRCA,由多个专业子 Agent 协同完成根因分析任务。回到文章开头首页渲染慢的故障案例,这套 Agent 体系推理链路如下:
配图说明:AutoRCA Agent 推理链路
各个子 Agent 由对应领域专家开发。分工协作的前提,是不同专家产出的结论可以互通,不需要互相理解对方内部实现。本体就是统一接口:每个领域 Agent 只需要学习图谱这一套词汇。链路追踪模块产出关于应用实体的三元组,日志模块读取同一个应用实体的三元组,双方不需要感知彼此存在。新增一个领域 Agent,只需要掌握这套词汇,就能读取所有其他 Agent 沉淀的信息。
对比最开始的排障场景,这套系统的定位要客观看待:告警依旧会按时触发,工程师依然要评估证据、最终写代码修复。但过去耗费一两个小时的上下文组装工作 —— 找到负责团队、回溯发布记录、跨系统关联信息、查找历史同类故障,现在全部交给本体和图谱完成。目前这套系统给出的高优先级假设偶尔依然出错,所以每一条结论都附带原始证据。但工程师开始排查时,已经拿到了过去需要半个下午才能拼凑完整的全景信息。
如果你想要搭建同类系统
我们踩过很多坑,下面是复盘后沉淀下来的设计原则:
- 优先做好实体身份建模
每一类实体选定唯一权威目录,实体创建前必须校验。 - 把本体当成代码管理
版本控制、评审、测试,变更走 PR 流程。本体代码化,方便 Agent 参与共建,支撑规模化协作。 - 区分概念与实例
概念(类型、关系定义)变化节奏以月 / 年计;实例(具体应用、故障)持续高频变动。混在一起会让两者都难以迭代。 - 基于开放标准构建
RDF、OWL、SHACL、SPARQL 有成熟规范、多实现兼容。自研私有图模型会锁死后续所有消费方。 - 用类型系统约束随机生成工具
这是我们最看重的一条原则。大模型擅长处理确定性难以保证的场景,通过收缩输出契约,就能把随机输出变成查询引擎可信数据。 - 增强器尽力而为、串行执行
下游依赖最多降级图谱质量,不能阻断流程;串行让后续增强器依赖前面结果,换取更高准确率,愿意牺牲并行速度。 - 机器遥测之外,同步建模人的思考过程
图谱里价值最高的边,很多来自讨论记录。遥测记录系统做了什么,讨论记录人是怎么理解、怎么判断的。这些经验沉淀下来,才是长期最宝贵的智慧。 - 保留人工终审
Agent 可以提出修复方案、增强逻辑、本体变更建议,但所有提案都必须经过人工评审。
后续规划
这套图谱打开了三个阶段的可能性: 第一阶段:自动根因分析。故障发生时,自动附带一组图谱支撑、按优先级排序的假设。 第二阶段:自动处置。置信度足够高的诊断结论,附带执行动作:定向回滚、流量切换、代码变更。 远期目标:自愈基础设施,在用户感知故障之前,基于预测完成修复。
与此同时,团队计划把可观测本体和 Upper 集成。Upper 是 Netflix 统一数据架构(UDA)核心的领域建模语言,允许团队用机器可读的方式描述业务域、系统域模型,在映射为具体 schema 时保留语义和约束。打通之后,应用、告警、发布、故障这类运维概念,会和 Netflix 全量业务领域模型打通,工程师和 Agent 共用一套语义层,用于查询、校验、推理。第一期 POC 会先把故障实体接入 Upper,验证收敛路径。
致谢
这套系统离不开各个业务团队的数据、专业支持与耐心试错。特别感谢项目成员 Kaela Marsheck、Aditya Gaur;感谢本体工作组 Peter Royal、Alex Hutter;感谢统一数据架构与知识基础团队 Alexandre Bertails 以及各位同事,开放 Upper 领域建模能力,一起探索可观测本体如何成为 Netflix 更大范围语义底座的一部分。

