大数跨境
首页
>
一家做对话理解的研究机构，被微软买走成了对话 AI 的班底
>

一家做对话理解的研究机构，被微软买走成了对话 AI 的班底

一家做对话理解的研究机构，被微软买走成了对话 AI 的班底 AI驱动数字化转型
2026-11-01
16
导读：试点要干净，这是对的。脏的那部分总要有人接，那是生产的事。只是签字之前，得先弄清楚自己交出去的那个分数，测的究竟是哪一段路上的哪一段。
Morpheus 那份成绩单上，GPT-5.5 拿到 0.918。数字很干净，干净得让人不再追问它是怎么来的。
追问下去会碰到一行容易滑过去的东西：第二次配置切换发生之后，它用了超过二十五步才发现环境已经变了。观察窗口不长，在它发现之前就关上了。这二十五步里，它一直按着原来的规矩做事，做得毫不犹豫。
这份测试是 Skyfall 做的，2026 年 7 月发布。创始团队来自 Maluuba，一家做机器阅读理解的加拿大公司。2015 年底，这家公司在蒙特利尔开了一间研究中心，请来的学术顾问是 Yoshua Bengio 和 Richard Sutton。Sutton 是强化学习那套办法的祖师之一，时序差分和策略梯度往上追，都追得到他。
微软在 2017 年 1 月把这家公司买了下来，团队并进微软研究院蒙特利尔。有了这段血统，后面一件事就不奇怪了：他们给语言模型设的对照组，是 PPO。
2026 年的题库已经够挤了，题越出越难，分越刷越高。一个做过机器阅读理解的团队，顾问席上坐着强化学习的祖师，回头再做一套题库，说明他们看见的空档不在难度上。空档在另一处：这些模型进了真实环境，到底会不会自己调整。他们给这件事起了个名字，叫大世界假设，意思是真实世界比任何训练集都大，模型不可能靠预先读过的材料把它覆盖住。
于是他们搭了一个不会重置的世界。状态不回到起点，目标会漂移，后果隔很久才来，没有任务编号，也没有固定课表。测试落在仓储这一行，分进货和出货两个场景，每个场景再切两段。第一段是资源分配和调度，规则稳定，奖励信号清楚，做对了当场加分，报告里管它叫 Task 1。第二段叫 Task 2，把配置切换引进来：跑到一半，环境的参数和约束被换成另一套，原先管用的做法突然不管用了，而系统收不到任何通知。
切换本身不是随便切的。三个区间依次是正常基线、EDI 数据故障、仓储管理系统产能骤降。第一个区间里，供应商和承运商传来的单据还完整；第二个区间，EDI 开始丢包、延迟、字段错位，模型眼里的世界先变模糊；第三个区间，仓库的可用产能被砍掉一大块，原来排得下的活排不下了。两次切换都发生在运行途中，没有任何标记告诉它现在是第几个区间。
模型是现成拿来的，没有微调，每一步都把完整的世界状态和操作日志喂进去，五组随机种子各跑一遍。
第一段，当下最强的两个模型表现得近乎完美。GPT-5.5 在三个区间分别拿到 0.920、0.920、0.914，总成绩 0.918；Gemini 3.1 Pro 拿到 0.899、0.853、0.852，总成绩 0.864；适应速度两个都记为 1.0。
到了第二段就不一样了。奖励分两路统计，报告里叫作 inbound 和 outbound，一路算进来的活，一路算出去的活。Gemini 在进来的那一路崩掉 95%，出去的那一路掉了 21%；GPT-5.5 进来的那一路反复归零，再没恢复过，第二次切换之后的检测延迟超过二十五步，窗口关掉之前也没有回来。这两路具体怎么算，Skyfall 没公开，能看的是形状。
同一条赛道上还跑着一个叫 PPO 的老算法，2017 年提出来的，比这两个模型老了将近十年，参数量小好几个数量级。它不读书，不做预训练，只在一个环境里反复试，拿到奖励就调整做法，一点一点往最优解上靠。第一段它吃掉了 99.3% 的理论最优差距，第二段吃掉 99.96%。所谓理论最优差距，就是随便乱做和理论上最好成绩之间那段距离，它把其中 99.3% 补上了。
反过来看，两个装满了人类知识的模型，在第二段留下了 93% 到 98% 的奖励没有拿到。
它们输给了一个没有预训练、不会说话、从零开始试错的算法。
真正反常识的地方不在输赢。赢下第一段和输掉第二段，是同一个原因。

有件事得先说清楚：这些数字全部来自 Skyfall 自己公布，没有第三方独立复现，也没有开源权重。值得看，是因为口径给得完整、对照组设得清楚、种子跑了五遍，不是因为已经被验证过。


PART 01
故意加进去的故障，没让分数掉下来

第一段测试里还有个附加实验，比主结果更值得看。Skyfall 往环境里注入了模拟的数据故障和产能下降，两个模型的分数几乎没动，还是稳在 0.918 和 0.864。
照一般理解，这叫韧性。Skyfall 的说法是韧性的错觉，报告里的原句更硬：跨越配置区间的稳定表现，不是稳健的证据，是一个固定策略在自己的覆盖范围里运行。
错觉在哪儿？那些故障是被设计进去的。注入点、注入幅度、注入时机都写在环境里，模型面对的是一段已知范围的扰动。它不需要判断现在是不是不对劲，环境会通知它。
真实的漂移不发通知。世界的规律在动，原来的做法慢慢失效，没有任何提示。
企业试点里最得意的部分，恰好就是这一条。异常注入做过，压力测试做过，混沌演练也做过，模型全都扛住了。扛住的是事先写好的那份异常清单。
评测这件事，二十年来做的就是同一门手艺：把难的东西切成能打分的东西。2021 年的 HumanEval 把编程切成一批固定的函数题，2023 年的 SWE-bench 把仓库里的 issue 变成能自动验证的补丁。每一步都往前走了不少，每一步也要付一笔代价，就是把世界会变这件事，从题目里拿掉。
收窄是必要的。代价是把“世界会变”这个变量固定住了，而且分数越干净，被固定住的东西越多。

PART 02
它们没有在学，只是在重复习惯

Skyfall 还给了一个更硬的解释，藏在奖励的分布形状里。
Morpheus 的环境里同时跑着好几条任务队列，模型要做的事就是把产能分给它们。GPT-5.5 平均摊到 2.11 个队列，单条队列最多给到 0.74 的产能；Gemini 集中在 1.34 个，单条最多给到 0.91。一个习惯铺开，一个习惯死磕，路子完全不同，命中率都是 0.36。
产能被砍掉的那个区间更清楚：Gemini 离理论上限差 0.148，GPT-5.5 差 0.086。按直觉，把产能压在高价值队列上的那个应该更占便宜，结果正好相反，压得越死的那个，离上限越远。
两条路都走不通，这才是要紧的地方。它说明两个模型都没有在看奖励信号调整做法，而是在各自搬用预训练留下来的偏好。预训练是模型在几万亿字上读过一遍之后形成的东西，它决定了模型遇到新情况时的第一个反应。环境一直在给反馈，反馈始终没有改变它们做事的形状。
反馈为什么进不去？因为语言模型的学习只发生在训练阶段。推理的时候参数是冻结的，它没法真的改自己，所有适应只能靠上下文里的信息临时拼起来。上下文就是它当场的工作台，长度有上限，装满了就得把最早放进去的东西扔掉。
所以窗口一长，早先的判断就被挤出去，它失去参照。二十五步的检测延迟不是因为它笨，是它的架构里根本没有一处地方记着“环境已经变了”。它对这个世界的全部记忆，都在那个会被挤出去的窗口里。
再看 PPO 那边。它能在第二段吃掉 99.96%，理由简单，甚至有些笨拙：它的整个设计目的就是从反馈里改策略。奖励信号是它的输入，不是它的参考读物。
一个靠反馈改行为，一个靠上下文记住行为。环境稳定的时候两者看不出差别，环境一变，差别就是 93% 到 98% 的奖励。
这一点对企业项目是致命的。企业买的从来不是一次答对，是错了一次下次别再错。一个不靠反馈改策略的系统，在稳定环境里表现优异，在漂移环境里没有任何自愈能力。
这样的系统不会腐坏，它只是停在原地，一天一天地落后于它所在的那个世界。

PART 03
企业试点，全部在做第一段

把这两段搬到项目现场，几乎能一条一条对上。
第一段长什么样？规则在开始前定好，指标固定，边界清楚，有一个结束日期，还有人专门在旁边看着。这就是一份试点方案的标准结构。
第二段反过来：规则中途会改，后果延迟到达，没有重置，也没人通知评分标准变了。这是系统上线三个月以后的真实处境。
那个 95% 到这里才算有了机理上的解释。MIT 媒体实验室的 NANDA 项目做过一份企业 AI 调研，叫《生成式 AI 的分野》，材料是 150 次高管访谈、350 份员工问卷、300 个公开部署的观察。结论是九成五的组织在这笔钱上拿到了零回报。报告给的原因不是模型不行，它用的词是学习差距：工具太脆，不跟着工作流学，和日常运营脱节。
问题是这三条都是定性的，没有一条能变成验收项，也说不清钱具体丢在哪一步。Morpheus 在这里接上了一段：它把“不跟着工作流学”做成了两个能过手的数，多少步之后才发现变了，发现之后能不能回到原来的水平。
口径要分开看。95% 是外部统计，底子是访谈和问卷，不是普查，这个比例后来被反复引用，也被反复质疑。Morpheus 是一份受控基准的自报结果。两者不能互相证明。基准能做的是给统计一个机制，不是给统计一个证据。
试点不是失败在技术上，是失败在它测的东西和要交付的东西不是同一件。
更麻烦的是，这里还有一条反着来的规律：越是认真的团队，越容易掉进去。认真的人会写更厚的验收标准，把指标定义到小数点，把测试用例铺满每一条分支，而这三件事都在加固第一段的封闭性。方案评审会上，一份写满验收条目的试点计划书，看起来就是比一份只写“先跑三个月看看情况”的专业得多。
前者测得更准，测的是错的东西。
工业现场对这件事其实不陌生。设备预测性维护，就是靠传感器数据在机器坏之前提前报警，不用等停机。这类试点一般这么起步：做算法的人拿三个月的振动数据训一个模型，用固定工况跑验证，验收那天把准确率曲线投在屏幕上，一条线稳稳压在 95 分那条线上，甲方看了点头签字。
等真正接上产线，换季、换料、换班次，振动特征整体平移。模型照着旧分布继续判断，报出来的告警全是假的，真故障一次没报。没有人做错事，只是验收方案里没有一栏叫“工况变更”。
麻烦的还有一层，在合同里。法务拿到验收条款，逐条往下对：可量化吗，可复现吗，能留档吗。这三条恰好只对第一段友好。漂移环境下的行为没法在签约前证明，它表现成什么样取决于未来会发生什么，写不进验收单。
采购流程就这么筛掉了唯一重要的那个指标。不是因为没人想到，是想到也写不进去。
这么一圈走下来，结构就越转越紧：合同约定第一段，团队交付第一段，汇报讲第一段，下一份合同继续按第一段签。每一环都合规，每一环都在把距离拉大。
要打破它，得有人愿意在合同里写一条当时无法证明的条款，比如把“上线后第一次规则变更时的检测延迟”定为验收项。这需要甲方有人敢签字，也需要乙方敢接。
PART 04
判据要换，验收标准也要换

检测延迟这个词不是新造的。数据流学习里评漂移检测器，二十年来一直拿它和误报率配对使用：Gama 等人在 2014 年那篇综述里把它列成标准指标，ADWIN、DDM、Page-Hinkley 这些检测器互相比较，比的就是变点出现之后要多久报出来。这套指标在设备监控和风控模型上用了很多年，只是很少见人拿它当验收项。
Morpheus 的报告里有两个量可以直接搬过来，因为都能数出来。
头一个叫检测延迟，环境变了之后系统要用多少步才发现。GPT-5.5 在这一项上超过二十五步。这不是一句“表现不好”，是一个能写进验收标准的数。另一个是发现之后的策略质量，能不能退回原来的水平，或者在新规则下重新爬上去。
这两项和通过率不在一个维度上。通过率问的是做对了吗，这两项问的是错了之后怎么办。开标时要看的那个数，通常写的是前一个，因为前一个当场能验，后一个得等出了事才知道。
三组测试在试点期内就能做，不需要新工具，成本远低于把系统推上线三个月再发现问题。
  1. 第一组，需求中途变。跑到一半改验收标准，看它几步能检测到，能不能退回半成品状态，退回之后是重做还是带着错往下走。
  2. 第二组，依赖失效。把一个被依赖的模块换成不兼容的版本，看它是硬撞上去报错，还是绕开继续跑。绕开看着聪明，其实它已经悄悄把问题定义改小了。
  3. 第三组，上下文溢出。喂到超出窗口，看恢复之后策略质量掉了多少。掉得多，说明它一直在靠记忆维持判断，而不是靠规则。
判据一换，一批跑得很好的试点会立刻显出原形。这正是它的用处。
这套判据也有边界。Morpheus 测的是资源分配与调度，一个奖励信号能写成数字的任务域。放到客服、法务、内容审核这类判断标准本身就要人商量的场景，检测延迟未必算得出来，得另找可测的替身。搬方法可以，搬结论不行。

PART 05
干净是必要的，但不是目的

回到那二十五步。
它的分量不在延迟本身。它说明系统在环境变了之后，还按老规矩跑了二十五步，每一步都在积累错误，而它自己不知道。放到真实项目里，这二十五步可能是二十五天，可能是二十五个已经交给客户的判断，也可能是二十五次被记成“正常”的报警。
企业做试点，说到底是想在花钱之前先知道结果。这个动机没有问题，问题在于把“知道”寄托在一份封闭测试上。封闭测试能给的是系统在已知世界里的能力上限，给不了它在未知世界里的行为。
那份 95% 的统计如果拆开看，能拆出两类失败：一类是模型确实不行，一类是测试通过了、上线不对。这两类之间隔着的那段距离，就是第一段到第二段的距离。
一个从零开始试错的算法跨得过去，两个装满了人类知识的大模型跨不过去。原因不在知识多少，在于有没有把反馈当回事。
试点要干净，这是对的。脏的那部分总要有人接，那是生产的事。只是签字之前，得先弄清楚自己交出去的那个分数，测的究竟是哪一段路上的哪一段。

【声明】内容源于网络
0
0
AI驱动数字化转型
专注AI，促进智造行业数据衍生，服务智能制造企业的数字化、智能化，聚焦大模型私域部署、大模型微调、数据清洗、AI模型训练、私域知识库及agent技术延展等。行业智能，落地为先。
内容 1116
粉丝 1
AI驱动数字化转型 专注AI，促进智造行业数据衍生，服务智能制造企业的数字化、智能化，聚焦大模型私域部署、大模型微调、数据清洗、AI模型训练、私域知识库及agent技术延展等。行业智能，落地为先。
总阅读15.3k
粉丝1
内容1.1k