我是小兵，一个动手派AI架构师。“AI工程化实战”系列第 13 篇。

换模型一行配置，我回滚了二十分钟

第 12 篇《数据工程底座》结尾我写下一句：“数据底座是地基，LLMOps 是地基建起来之后，怎么把整栋楼管起来。”写那句话时我以为我懂 LLMOps——不就是给模型加个版本号、给 Prompt 加个管理面板吗。结果没过两周，现实就让我在会议室里当着人的面答不上话。

那天下午我把网关里的 model 名从旧模型换成榜分更高的新版，一行配置，影子里看着挺好，放 5% 小流量。两小时后，第 7 篇那个 schema 闸开始隔三差五降级，有几类意图答非所问。回滚，恢复，前后二十分钟。

复盘时我卡在最简单的那一问上：我要回滚到哪一版？模型名我知道，改回去就行；可“当时那一版 Prompt 配的是哪个数据版本”——我答不上来。不是记不清，是从来没有一个地方把这三件记在一起过。那一刻我认了：我不是不会换模型，我是从来没有“一次发布”这个东西。LLMOps 要管的从来不是模型，是那一次可信发布的完整身份。

六个站：把散落的零件串成一条能回滚的线

前 12 篇把零件都修好了：第 2 篇评测门、第 3 篇灰度熔断、第 4 篇 Prompt 内容哈希、第 5 篇网关路由、第 7 篇 schema 闸、第 8 篇链路 Trace、第 9 篇成本账、第 10 篇反馈闭环、第 11 篇换版纪律、第 12 篇数据底座。可它们躺在各自的抽屉里，谁也管不了“把它们凑在一起的那一次发布”。

本篇没有新零件，只有一条把它们串起来的线。我先自造一个词，免得你去搜一个搜不到的东西：版本三元组 = Prompt 内容哈希 × 数据版本号 × 模型 ID，锁成一组；三样拼起来再算一个指纹，那串指纹就是“那一次发布”的身份。三条线的变更从同一个入口进，锁成三元组，过六站：① 注册，三件各自定身份，模型这一维补能力、schema 遵守率、成本、合规四件标签；② 评测门，第 2 篇那套 Golden Set 一行不改，只把评测对象从 Prompt 换成三元组；③ 发布门，影子 → 小流量金丝雀 → 分层放量，劣化即回滚，回滚粒度是三元组指针，零重建；④ 观测，Trace 和成本账按三元组指纹打标；⑤ 反馈，差评点踩是弱信号，要仲裁过才回灌 golden set；⑥ 退化监控与退役，Data Drift 是输入分布漂了，Response Drift 是供应商静默换了权重导致输出变了，供应商下线旧模型时要能一次扫出“线上还有哪些三元组钉着它”。模型退役这条我给死一句：只告警，不自动改——自动改就等于绕开评测门，把门拆了。

这条环形不是我自己编的，出处是 Google Cloud 的 Agent Quality Flywheel（2026），三阶段 Build & Test → Ship & Monitor → Learn & Refine。它有条原则也成了本篇一条纪律：谁改的谁别给自己打分，判过没过是评测门的事。

demo 是一个纯标准库、离线可跑的最小发布流水线：sqlite3 落发布账本，内容哈希定零件身份，一张确定性评分表当评测门，一条线跑通“注册 → 锁三元组 → 单一变更校验 → 评测门 → 灰度回滚 → 漂移告警 → 退役扫描”。它埋了个活靶子——新模型榜分更高，却在应用侧 schema 遵守率掉，被评测门当场拦下。完整代码在 CSDN 原文，这里不展开。

三个取舍点，每个都真付过费

取舍一：发布原子不是“模型版本”，是“版本三元组”。MLOps 那套的发布单位是一个模型权重，LLM 应用翻车从不在“单个零件坏了”，在“零件换了一个、你以为没事”。代价是组合会膨胀——Prompt 10 版 × 数据 8 版 × 模型 5 版就是 400 组，全测不现实，得靠单一变更原则收敛；但省这笔钱更贵：你回滚得了模型名，回滚不了“当时那一版 Prompt 配的是哪个数据版本”。

取舍二：换模型不是升级，是发布——越强的模型不一定让你的应用更好。公开数据摆着：GSM1k（NeurIPS 2024）把 GSM8k 换题重出，模型最高掉 8 个百分点；SO-Bench（CVPR 2026）里同任务同 schema，GPT-4o 指令跟随 92.36%、结构化 API 99.67%，Claude-3.5-Sonnet 无约束约 74.5%——遵守率不是模型的固定属性。所以换模型得走完整发布流程，不能走“改个配置名”的升级流程；省掉那次评测，就是拿线上流量赌。

取舍三：微调是最后一颗子弹，不是第一杠杆。它把“改一行 Prompt、跑一次评测门就能验证”的问题，变成“攒数据 → 重训 → 重评 → 重发 → 回滚更难”。量级上 LoRA/QLoRA 一次实验约 $5–$500，full fine-tuning 是 $100–$10,000+，是“最贵的一步”。共识顺序就一条：Prompt → Few-shot → RAG → LoRA/QLoRA → Full FT；顺序错了代价不对称，先微调后 Prompt，花掉的这笔钱收不回来。

三条路线的选型表不搬了，一句话结论：“没有流水线”是赌运气，“MLOps 直搬”是拿旧地图走新路（发布原子是模型，另两维没进发布），“以版本三元组为中心”才是给 LLM 应用量身定做的发布纪律。小团队先把“模型注册 + 三元组锁 + 单一变更原则”立起来，其余各站随规模补。

踩过的坑：换模型踩雷、两维同改

换模型一行配置上生产，schema 遵守率掉了，回滚时对不上账。影子看着没事，放 5% 才出事。根因不是“新模型不行”，是我把换模型当升级而不是当发布——换模型同时改了 Prompt 效果、schema 遵守率、成本结构、缓存行为，我只看了榜分。修复是模型进 registry、换模型走完整发布流程、回滚粒度改成三元组指针。教训：榜分高和应用变好之间，隔着一次评测；省掉它，就是拿线上流量赌。

同时改了 Prompt 和数据版本，指标掉了半天不知道是谁的锅。我又调 Prompt 措辞、又换知识库新版本（第 12 篇的 V_{k+1}），指标掉了。花半天在 Prompt 和检索之间二选一，最后发现两个都有问题、还互相掩盖。这不是我一个人的毛病，Microsoft 官方课和 Google 的 ML 指南都写着同一条：一次只做一个改动、把性能变化归因到具体那一处。修复是一次只动一件，两维同改就拆成两次发布。教训：三元组一次只许在一个维度上 +1——省掉的拆分成本，会以“出事了不知道谁的锅”连本带利还回来。

楼管起来了，问题还没完

前 12 篇造好的零件，在这一篇被串成了一条流水线：三条线的变更从同一个口进来，锁成三元组，过评测门、过发布门，被 Trace 和成本账盯着，被反馈闭环推着，被退化监控和退役扫描兜着，转一圈回到入口。一句话收口：LLMOps 管的不是模型，是“一次可信发布的完整身份”——三件各自有身份、凑一起有指纹、回滚有指针、退役有清单。

模型退役单独提醒一次：供应商公告到下线典型 60 天到 6 个月，preview 可以短到 2 周。“模型不是资产，是耗材”——可迁移性要在第一天设计，不在最后一天抢救。

工具面一句话收口：demo 里那三张表生产化，就是“MLflow Model Registry 3.16.1 管模型 + Langfuse Prompt Management v4.38.0 管 Prompt + DVC 3.67.1 管数据 + 一张发布账本”，评测换 RAGAS 0.4.3 / 第 2 篇 harness；推理引擎那三件——vLLM 0.26.0 / SGLang 0.5.16 / TensorRT-LLM 1.2.1——解决的是推理成本、吞吐和显存，跟发布纪律是两件事。漂移阈值也一样：PSI <0.10 无变化、0.10–0.25 中等要查、>0.25 显著要动，schema 失败率从 0.5% 跳到 5% 是“上游静默更新”的强信号，具体取 0.10 还是 0.2 是你的决定。

但这条流水线是给“一个应用”用的。当一个业务需要多个 Agent 分工协作，这套发布纪律要怎么扩到多 Agent 上？每个 Agent 各有各的 Prompt、有的还各有各的模型，三元组会不会变成“九元组”？下一篇《Multi-Agent 协作实战》：楼盖好了、也管起来了，接下来是楼里住几个人、怎么分工的问题。

这篇是脱水版。完整版含可离线跑的 mini_llmops.py + 7 个断言的测试、发布六站清单、变更决策表、选型对比和工具对接，已同步发布在 CSDN。点文末“阅读原文”看完整代码和可跑 Demo。

评论区聊聊：换模型你会走完整发布流程，还是改一行配置先上？为什么？

我是小兵，一个动手派AI架构师。这里只写自己跑过、摔过、复盘过的AI工程化案例。如果你想持续收到这类实战内容，点击关注，下篇见。