灵脑入体：共探大模型驱动的具身智能未来

作为具身智能前沿论坛 FIRST 大会重要组成部分，帕西尼感知科技(深圳)有限公司创始人兼 CEO 许晋诚、自变量机器人科技(深圳)有限公司算法合伙人 甘如饴、原力无限首席科学家 陈佳玉、清华大学智能产业研究院(AIR)助理教授 赵昊 等四位嘉宾，结合自身研究与企业实践，围绕“灵脑入体：大模型驱动的具身智能未来”主题，展开深入研讨与交流。圆桌对话由招商局集团人工智能首席科学家、狮子山人工智能实验室主任 张家兴 主持。

甘如饴表示，从时间维度测算，要实现可用的具身智能，至少需要 1000 万小时的多模态数据。而且，真实场景中采集的“牛奶数据”远比实验室里采集的“糖水数据”更有价值。像 UMI 这种低成本采集方式，可以作为真机数据的有效补充。关键不是数据多少，而是能不能形成“数据—模型”的迭代闭环。他认为，具身模型要有可扩展的结构，能高效压缩多种数据和任务，而不同模型的差异，核心往往就藏在“Loss 函数”的设计里。

许晋诚也认同 1000 万小时这个量级，但更关注数据的“广度”和“多模态”，尤其是触觉和物体交互数据。与其追求通用大模型，不如先发展专用场景模型，把成本降下来。他认为，数据采集的核心标准是：低成本、高速度、全维度。模型选择上，目前 VLA 模型已经可以胜任日常场景，世界模型则面向更复杂的环境。最终判断标准很简单：机器人与模型的综合成本，能不能低于人工成本。

赵昊则认为，数据质量比数量更重要，无效数据再多也是浪费。在数据采集方式上，他更倾向使用 Ropedia 等设备进行真机遥操，而不是 UMI 。他提出，未来商业化的关键，是在可控的 4D 世界模型里做后训练强化学习（Post-training RL）。

陈佳玉表示，数据量不能一概而论，单任务、多任务、单场景、多场景，需求完全不同。盲目追求数据量只会造成资源浪费。他以 Generalist 用 UMI 数据训练“纯血模型”和 Physical Intelligence 用真机遥操采集数据为例，说明不同路径各有优势。对于技术路线，他认为VLA目前相对成熟而暂时领先，但世界模型同样潜力巨大。

此次圆桌对话成功搭建了学术与产业沟通的桥梁，汇聚各方智慧梳理了行业发展的共识与痛点，为大模型驱动下具身智能的技术突破、场景落地与产业协同提供了重要参考。

以下是圆桌对话实录，为增加阅读性，略有调整。

招商局集团人工智能首席科学家、狮子山人工智能实验室主任 张家兴

张家兴（主持人）：各位嘉宾下午好，欢迎参与本次“灵脑入体：大模型驱动的具身智能未来”圆桌对话。今天我们重点围绕三个核心问题展开讨论，第一个问题：具身智能目前到底需要多少数据？有了这些数据后，希望能涌现什么样的能力？

甘如饴：要从时间维度来判断，过去做大模型的时候，大家更愿意从 Token 来计算，但对于机器人来说，这是多模态的事情。如果平行对比的话，机器人的 Token 肯定会比语言模型多。那有什么样的尺度可以来对比呢？我们在 2024 年就已经做过测算，人类一分钟能说 238 个词，按当时的Token 1.3倍来算，差不多是需要采集 27 万小时的数据。我们也测算过 GPT-2 和 GPT-3 ，分别对应 79 万小时和 1100 万小时的数据量。所以根据我们的推算，要实现具身智能，至少需要 1000 万小时的数据集。

许晋诚：1000 万小时的数据量确实是足够的，但我们更需要关注数据的广度。现在不只是需要视觉数据，还需要采集多模态数据，这些多模态数据包括与物体交互的数据、感知相关的数据等，这些都能帮助模型提升能力。目前行业内对数据的定量基本达成共识，但需要包含什么样的数据格式，急需大家共同探讨，以及这些数据格式纳入后，能在多大程度上提升模型性能，这是帕西尼一直关注和精进的方向。当前不存在通用模型，因为通用模型需要的数据量过于庞大，更多是针对具体应用场景打造专用模型，这样在数据采集和预训练阶段能更好地降低成本。所以对帕西尼来说，今年我们也会按照 1000 万小时的体量采集数据，但会大幅增加触觉数据和物体交互数据的采集，进一步提升模型能力，同时深耕专用模型的场景落地。

自变量机器人科技(深圳)有限公司算法合伙人 甘如饴

赵昊：我同意 1000 万小时的数据量是足够的。不过现在相比数据量，更需要关注数据质量，因为很多数据可能是无效数据，采集过程中要尽量减少无效数据的产生。比如大语言模型的泛化能力还不够完善，即便目前最大的大语言模型，依然会出现错误。在自动驾驶领域，要实现踩油门、刹车等基础操作，1000 万小时的数据是够用的。自动驾驶和具身智能有所不同，自动驾驶无法进行真机强化学习，这恰恰是具身智能的优势。我个人认为，在可控的 4D 世界模型中开展真机强化学习，实现机器人的规模化部署，将是未来具身智能商业化的重要方向。

陈佳玉：关于具身智能需要多少数据，我认为需要设定一个合理范围，核心取决于机器人的应用场景，是期望它完成单一任务、单一场景下的多任务，还是多场景下的多任务，不同的需求对数据的要求也不同。第二点，数据收集不只是量的问题，还涉及多模态、质量、分布广度等多个维度，所以单纯说收集多少小时的数据，很难给出准确答案。而且这些数据的来源也没有明确定论，无论是互联网数据、 UMI 数据、真机数据还是仿真数据，目前都没有形成统一的最优方案。盲目确定数据量，可能会造成一定的资源浪费。

帕西尼感知科技(深圳)有限公司创始人兼 CEO 许晋诚

张家兴（主持人）：非常感谢各位嘉宾的分享。第二个问题，具身智能需要什么样的数据？目前行业内对数据采集有很多不同观点，每个团队都有自己的取舍。数据采集有很多维度，比如本体采集与无本体采集、有触觉与无触觉、真实物理世界数据与仿真数据等，组合方式多样。虽说大家都希望能兼顾所有维度，但受限于团队预算，很难实现全面覆盖。今天几位嘉宾正好代表了不同的技术流派，想听听各位的观点，什么数据是有用的，什么数据可能是无效的？

甘如饴：我觉得行业内的分歧其实没有那么大，比如大家都认可真机数据的重要性，不同之处在于对成本、投入、效率的认知差异。比如每个团队对真机数据的理解不同，有的团队会建立数据采集工厂，在工厂内进行大量数据采集，但这样采集的数据本质上是“糖水数据”。虽然能让机器人短期掌握一些任务，但就像仿真数据一样，无法预判模型在真实场景中可能出现的问题，比如机器人碰撞障碍物等。即便是真机数据，也存在明显差异。最近我们公司也与合作伙伴一起，深入真实场景采集数据，因为我们认为这样的数据才是“牛奶数据”，能真正提升模型的泛化能力。像张老师提到的 UMI 数据，很多公司也在采集， UMI 数据其实是对真机数据的一种妥协，受限于真机采集的成本，以及采集的便利性和可扩展性，需要通过无本体夹爪、外骨骼手套等工具拓展数据来源。我认为最重要的一点，是能否将模型纳入数据采集体系，形成“数据-模型”的迭代闭环，通过模型反向对数据提出指标要求，持续优化数据质量，这也是不同团队之间的核心差异所在。

许晋诚：在我看来，所有数据采集方式，只要能满足“采集成本足够低、采集速度足够快”，就是好的采集方式。假设机器采集的成本能低到 0.1 元/条，一小时能采集 200 条数据，那无疑是最理想的，但目前现实中还无法实现。这也是数据采集工厂出现的原因。比如我们公司也有自己的数据采集工厂，初衷就是提升采集速度、降低采集成本。目前我们单条数据的采集成本已经控制在 0.1 元左右，如果其他采集方式能达到这个成本，我们也非常愿意尝试，但就目前行业现状来看，很难有其他方式能将成本降到这个水平。我们的采集方式以人为中心，让操作人员穿戴公司自主研发的数据采集设备，可同步收集关节数据、触觉数据、视觉数据等，基本能满足机器人训练的所有数据需求。同时，数据最终要与算法深度结合，负责算法的人员必须能向数据管理的同事提出明确需求，实现数据与算法的协同拉通，才能形成“数据-算法-模型”的闭环。刚才提到的 UMI 数据，是一种工程化程度很高的采集方式，它将所有自由度压得非常低，在数据采集到执行的过程中，可消除中间所有不可预测的环节，在超低自由度的前提下，能实现数据采集、算法执行到部署的高度一致性，所以如果任务仅需低自由度就能完成， UMI 也是一种很好的选择。另外，仿真数据存在明显局限，仿真环境过于理想化，比如没有噪声，但现实场景中噪声无处不在，导致模型在仿真环境中表现良好，在真实场景中却会出现问题。总结来说，任何一种数据采集方式都有其价值，核心判断标准就是“低成本、高速度、全维度”。

清华大学智能产业研究院(AIR)助理教授，智源学者 赵昊

赵昊：我也分享一些我们团队的实践经验。第一，真机遥操是不可替代的，几乎所有算法最终都需要通过真机遥操进行最终训练，才能真正投入使用。第二，关于无本体数据采集，UMI设备很多人都有所了解，但这个路径在我们团队被放弃了，因为我们认为它的实用性不强。目前我们使用较多的是 Ropedia 设备，使用体验非常好，但即便如此，它也无法替代真机遥操。未来几年，我们最想推广的方向，是在 4D 可控世界模型中开展后训练强化学习（Post-training RL），将机器人任务成功率提升至 100% 。我们已经提出了一种名为“RISE”的方法论，并且完成了验证，希望未来能将其大规模商业化，真正赋能机器人，让它们能在真实场景中高效完成工作。

陈佳玉：如果我们关注全球领先的两家具身大脑公司，就能发现两种截然不同的技术路径。其中，Generalist 主要采用UMI夹爪进行数据采集，其采集数据的设备与部署机器人的末端保持一致，他们宣称自己的模型是“纯血模型”，即未经过其他数据训练，完全通过人类操作 UMI 设备采集的数据进行训练。据称其操作准确率可达 99% ，速度比上一代模型提升 3 倍，这是一条非常成功的路径。 UMI 能在全球流行，也与 Generalist 的成功有很大关系。另一家是 Physical Intelligence ，这家公司从成立之初就强调真机数据的不可替代性，据传他们租赁了大量设备进行真机遥操数据采集，但由于全程采用真机采集，成本相对较高，因此需要叠加大量互联网数据进行预训练。所以我的观点是，如果能通过低成本方式获取数据，比如 UMI ，就可以训练“纯血模型”；如果采用高成本采集方式，比如真机遥操，就需要搭配其他低成本数据进行补充训练。另外一点，如果我们想复刻大语言模型的成功，就需要明确，大语言模型的核心是对人类知识的“蒸馏”，而通用具身智能的核心，就是对人类行为的“蒸馏”。在对人类知识进行“蒸馏”时，我们并没有刻意将知识汇聚到一个地方，同理，对人类行为的“蒸馏”也不应刻意汇聚，不应专门为训练而采集数据，而应采用无感化方式，让数据在人类正常工作中自然产生。所以我的主张是，数据采集越低成本、越无感化越好。

张家兴（主持人）：非常精彩的分享，各位嘉宾从不同角度解读了数据采集的核心逻辑。那么我们需要训练什么样的具身模型呢？最初行业内对具身智能模型的认知是一致的，谷歌提出 RT 系列时，本质上是大模型的应用，简单来说就是 VLM （视觉语言模型）的延伸，后来进一步发展出 VLA （视觉语言动作模型），这也是 2025 年上半年行业的共识。但从 2025 年下半年开始，尤其是 2026 年以来，具身模型进入了大创新时代，与当初大模型时代最终走向“收敛”的趋势不同，目前行业内出现了多种技术路线。今天在座的各位嘉宾，所在企业也都发布了自身的模型，想请各位分享一下，你们认为具身模型应该是什么样的？

甘如饴：做过大模型研究的人可能都会认可一点：首先，具身模型需要具备可扩展的结构；其次，需要有能高效压缩多数据、多任务的 “Loss 函数”。目前行业内推出的多种模型，核心差异主要在于“Loss 函数”的设计。比如 VLA 可以看作是一种端到端的结构，不同团队的建模思路有所不同，有的团队倾向于采用离散表征，有的则认为应采用连续表征，这是第一类技术路径。第二类路径是，既然模型的输入是多模态的，那输出为何只能是动作这一种模态？因此很多团队在探索，能否加入其他输出模态，比如视频预测、未来 3D 表征预测等，通过多模态输出的相互促进，最终提升动作生成的准确性。这就引申出一个问题：当数据量不足时，能否快速牵引基础模型的能力，为具身模型赋能？还有一种最新的观点是，当数据量达到一定规模后，可以直接建模，将所有模态数据输入，从头训练具身模型。我认为，目前各团队对具身模型的探索，主要集中在这些方面。这肯定不是终局，随着数据量的不断扩展，行业内会通过更多实践，最终形成相对统一的结论。但要实现这一点，需要有一个团队率先打通硬件、数据、模型的全闭环。

原力无限首席科学家，Agentic Intelligence Lab 负责人 

陈佳玉

许晋诚：我也认同，目前具身模型的发展还远未到终局。我更倾向于从落地层面看待这个问题，我们在与其他做模型的友商交流时，都有一个共识：模型选择不是二选一或多选一的问题，核心是看具体场景需要什么样的模型、适合什么样的模型。以目前的行业现状来看，在常规落地场景中， VLA 模型已经能表现得很好，足以胜任相关任务。但如果面对更复杂的场景，需要模型具备预测能力，那么世界模型会是一个不错的选择。只是目前训练世界模型的成本依然较高，无法像 VLA 模型那样，通过堆砌大量数据就能获得理想效果，这也是行业内的普遍共识。所以在模型抉择上，核心不是纠结于哪种模型更优，而是看场景适配性，最终的目标是让模型成本和机器人硬件的成本低于现有的人工成本，只要能满足这个条件，任何模型都是可行的。

赵昊：关于具身模型，我认为首先需要建立完善的评测方法。目前具身智能的评测体系还存在很大问题，不同人对模型的评价标准不同，有些人认为这个模型好，有些人则认可另一个模型，缺乏统一的评判标准，这就导致很难客观判断模型的优劣，在没有统一标准的情况下，现在讨论“具身模型应该是什么样的”意义不大，当前更需要关注的是，如何让机器人真正在现实世界中发挥作用，实现规模化落地。

陈佳玉：具身智能是一门交叉学科，无论是 VLA 路线还是世界模型路线，其发展都根植于其他领域的技术突破。其中， VLA 路线的核心依托是 VLM （视觉语言模型），而世界模型的核心基石是视频生成模型（Video Generation Model）。从目前的发展现状来看， VLA 路线略微领先，核心原因是 VLM 技术的发展更为成熟。但另一方面，世界模型也具有巨大的发展潜力。尽管目前世界模型在具身智能领域还没有非常成功的应用，但视频生成模型的发展已经非常惊艳，比如今年年初推出的 Seedance ，就能看出视频生成模型具有极强的泛化能力，且生成的视频长度也非常可观。目前世界模型面临的核心难题，是如何将视频生成能力转化为精细动作生成能力，只要能解决这一预训练难题，世界模型的发展前景将非常广阔。至于目前具身模型未能像大语言模型那样实现路线“收敛”，我认为核心原因还是数据尚未到位，只要数据量达到了，最终行业一定会“收敛”出一条路线。

招商局狮子山人工智能实验室

CHINA MERCHANTS LION ROCK AI LAB

狮子山人工智能实验室于 2024 年 9 月在香港成立，秉承“将智能赋予机器，把温暖送给人类”的使命愿景，面向服务场景开展具身智能前沿技术探索和创新产品研发。实验室将加快构建  “Robot × Agent”  全栈技术研发体系，矢志成为全球领先的具身智能技术领跑者，为千行百业高质量发展提供科技赋能，为千家万户创造更具幸福感的生活新范式。