Close the Loop：Verification是AI加速物理世界的关键

当前全球科研与投资主要聚焦两大方向：比特（Bits）与原子（Atoms）。

• Bits 端：AGI 支持者致力于在数据中心构建“天才之国”，期望先实现 AGi，再由其解决其他问题。
• Atoms 端：关注机器人学习、物体接触时的灵巧操作及通用机器人的普及。

假设 AGI 与通用机器人都已成功，为后 AGI 社会做准备时，关键在于：数字超级智能如何真正改善生活质量，带来更丰富的物质生活？

回顾历史，技术进步改善生活的核心在于发明新的物理世界技术并将其落地。这是数百万工程师、科学家、设计师及工人世代努力的成果。

将构想转化为大规模量产产品，需经历设计、工程开发、原型制作、投产前测试认证、生产、产能爬坡等环节。

在这一链条中，需厘清哪些工作可交给 AGI，哪些由通用具身智能承担，哪些仍需其他手段解决。

上图蓝色部分为抽象数字化工作，AI 模型已具备处理能力；粉色部分涉及物体接触与灵巧操作，由通用机器人承担。

然而，即使数字 AGI 与机器人灵巧性达到高水平，工程链条上仍有大量工作无法直接移交。从 GDP、劳动份额、利润率及岗位数量来看，获得人类级操作能力并不意味着剩余工程问题会自动解决。

要普及丰富物质生活，必须逐一解决链条上的问题，不能假设加速一端其余环节会自动跟进。

未解决的环节制约了研发、验证及规模化生产的速度。正如 Amdahl 定律所示，程序整体速度受制于必须串行完成的操作，创新亦然。

图中 p 为可加速环节占比，s 为加速倍数。即使局部无限加速，若 p=50%，整体耗时最多减半。只有当 p 接近 99% 或更高时，总时间才可能大幅缩短。

局部加速越快，未加速部分越易成为瓶颈。许多工作难以压缩时间，主要受限于两方面：

1. 测试本身耗时：
   • 快充电池负载及充放电循环测试通常超过一年半。
   • 药物研发至三期临床有时需十年以上，人体试验的时间成本无法省去。
   • 实验结果可能不稳定。Amgen 曾尝试复现 53 项癌症临床前研究，仅成功 6 项（约 11%）。
2. 工程知识分散：诀窍往往属于企业知识产权或留存于从业者经验中，难以直接获取。与代码和版本历史可完整保存不同，实体经济缺乏类似 GitHub 的完整知识库。

判断哪些环节可加速，需先看验证所需时间。从几毫秒到数十年不等。

• 可算力加速：结果可通过模型或仿真检验（如物理仿真、形式化数学证明、代码单元测试）。增加算力可更快获得反馈。
• 需实测检验：结果依赖真实环境，验证需数小时至数年。

验证时间至关重要，因为模型需依据验证结果继续学习。若能可靠判断结果达标，即可通过 RLVR（基于可验证奖励的强化学习）优化模型。Microsoft AI 将模型比作“爬山机器”，只要反馈可靠，模型便能持续优化。

因此，验证决定了前沿模型在后训练阶段的能力上限，这在数学和编程领域尤为明显。

但验证器本身可能存在漏洞。若负责检查的程序或模型（Verifier）有缺陷，模型可能利用漏洞获取高分，导致训练越充分，缺陷影响越大。

物理世界中反馈的速度与可靠性影响研究方法。机器人训练主要有两条路线：

• Sim-to-real：通过物理仿真和基于模型的学习获取快速反馈。
• 真实数据采集：利用人类示范数据训练，再通过真机评测，不依赖仿真反馈。

以运动控制为例，使用 GPU 优化的物理仿真环境，可在短时间内并行模拟数百万次动作，无需采集真实数据或遥操作，训练出的策略可直接用于真机完成复杂动作。

相比之下，机器人操作研究过去十年主要依赖大规模真实世界数据采集（如第一视角数据、遥操作等）。Physical Intelligence、Google DeepMind 等团队发布新模型前，需花费数百小时进行真机 A/B 评测。

由于真机反馈慢，团队难以在每次更新后采集足够数据。Ted Xiao 建议：

• 预训练：可使用接近理想表现的过往示范数据。
• 纠错数据采集：让当前版本执行任务，记录需干预的步骤及纠正后的动作。

目前，人类掌握的许多操作技能尚未被记录为机器人可学数据。实体经济中也存在类似问题：大量工程知识未被系统整理，无法像互联网内容那样直接取用。

更重要的是，工程创新需要持续迭代。若一套系统仅能帮人类重新发明 20 世纪 50 年代的技术，其价值有限。我们需要了解当前最高水平及优秀团队的工作方式，并将新想法转化为现实。

工程测试按反馈速度排列：软件分析较快，真实设备与环境试验则耗时漫长。此外，测试还受资源限制（如 F1 车队的风洞试验配额）。

除了资源限制，计算或仿真的适用范围也是问题。设计可能通过仿真检查，却在真实测试中暴露问题。需厘清验证方法在何种情况下可靠。

Anthropic、OpenAI 等团队已在数字化设计任务上训练模型，表现明显改善。但这些设计放入实际生产流程时，往往连基础检查都无法通过。仅靠计算或仿真反馈训练，尚不足以让模型直接满足实际工程要求。

自动化实验室正在改善实测环节。Periodic Labs 等团队在材料科学、药物发现领域探索利用真实实验反馈。例如，其自动化实验室每天可完成约 100 次 X 射线衍射实验，未来可能提升至 1000 次。但这仍远小于代码或仿真训练的百万级尝试规模。

Periodic Labs 尝试训练 LLM Judge 判读 X 射线衍射图谱，与专家一致率达 77%，希望以此提供奖励分数训练模型。但相比 Coding 等领域，自动化实验室进展更易出现停顿。

Anthropic 关于蛋白质结合体的研究显示：科学家与模型协作可缩短设计和初步检验时间，但人工执行的湿实验仍需数周。并行实验能增加每轮探索量，却无法消除轮次间的等待。

为缩短验证时间，各领域尝试用计算替代部分真实测试。若能通过模型或仿真可靠完成，即可借助算力加速。对于必须进行的真实测试，则需提高效率或避免每轮迭代都等待实测。

可设计价值函数（Value Function），即训练一个能根据真实反馈评估方案的 Critic。若模型可靠，可用低成本计算替代昂贵实测。

但问题在于：Verifier 基于历史数据训练，可能对未见过的新设计失效。物理世界没有围棋那样的规则判定，新材料、新蛋白质的最终表现需接受自然规律检验，而真实观测数据有限。

模型处理新情况的能力有边界。新设计与历史数据差异越大，反馈越难可靠。

因此，沿已有路线重新设计，模型可能很快；但要超越已有成果，难度依然很大。学习价值函数值得尝试，但未必能直接解决探索未知的问题。

Ted Xiao 认为，下一步重点是建立既可信又能扩大规模的验证方法，并确认其在实际使用和新研发任务中的可靠性。

左右滑动查看更多图表

总结而言：

1. AGI 提供的智能和机器人提供的劳动能力是必要条件，但工程与发明中的剩余问题不会自动消失。
2. 能可靠验证的方向更易取得进展。可信且大规模的验证方法有助于依据反馈持续学习。
3. 评测指标必须反映实际想要的结果。需直接测量模型在现实中的表现及整个系统是否完成预期工作。

三个研究方向

Ted Xiao 提出三项值得投入的研究方向：

1. 建立更多 Verifier（含 RL 环境）：不仅增加数量和覆盖范围，更要深入特定领域，了解实际工作流及应用标准，而非仅关注学术 Benchmark。
2. 检验 Verifier 可信度：深入模型实际工作环境，检查 Verifier 在具体任务和操作条件下的判断可靠性。
3. 合理安排真实测试：鉴于实测成本高、耗时长，应优先进行最能指导下一轮设计或训练的实验。可利用合成数据补充训练，但必须实测时需明确验证目标。

实际推进建议

• 增加资本投入与合作：针对成本高、次数有限的实测，争取更多资源，扩大测试规模。
• 重视部署与数据收集：与数字世界不同，物理世界现成数据稀少分散。需将系统投入实际工作，持续收集数据、改进 Verifier 和模型，并在过程中理解真实问题。
• 深入一线：例如金属切削领域，软件团队应前往现场观察工序，倾听操作者痛点，用双方理解的语言明确问题。
• 保持专注：仅改进单一环节不足以大幅缩短总时间。避免同时追逐多个方向，应聚焦于能显著提升整体效率的关键点。
• 关注实际产出：最终衡量标准是实体经济产出、新技术研发投产速度及工业产量，而非 Benchmark 高分或社交媒体关注度。