9月9日，由聚合智能产业创新中心、湖北科投联合主办的聚合智能产业发展大会（2026）在中国光谷召开。清华大学研究员、机器人控制实验室主任赵明国受邀出席活动，并发表题为《人形机器人具身智能的脑启发路线》的主旨演讲。以下为演讲全文，略有编辑。
当前VLA或世界模型多为单模态训练与部署，依赖大量数据，速度慢、可解释性不足，推广困难。受大脑DAN和Top-Down注意力机制启发，具身智能应像人一样多传感器驱动、按任务筛选信息并支持多任务并行。大量实验结果表明，多模态训练+多模态部署，优于多模态训练+单模态部署，更优于单模态训练+单模态部署。希望构建受脑启发的具身智能网络，在模态和行为丰富性上优于传统的VLA或世界模型。
现在大家都在做具身智能与机器人、智能汽车等各个硬件载体的结合。大家理解具身智能是以VLA或者世界模型展开的技术路线，但是我们有些不同的思考，通过几个视频来看一下。
这个Demo是美国著名公司PI最新的模型π0.7，它里面标志性的机器人使用空气炸锅。这是双臂操作任务，机器人可以拿起来右边的红薯，可以用左臂打开门。我们人类有双手、双脚，我们操作肯定是要用到力觉等很多感知，但这个实验显然和我们人类的操作不一样。
稍作总结：第一，它仅仅依靠视觉完成，这和我们日常生活中的很多操作并不一致；第二，整个操作视频是5倍提速，实际过程并不能加速，除了设备本身较慢外，现在的VLA也必须很慢；第三，这个结果需要大量数据训练，因此依赖数据；第四，机器为什么能这样做，目前还不能很好地解释。这些都造成VLA在更多任务上推广的困难。
再举一个机器人踢足球的例子。机器人可以在复杂环境里完全自主地把球踢进，它为什么能踢进这个球？我们发明了一些方法，这些方法也是仅靠视觉完成的，但行为是反应式的，速度并不慢，在真实场景能够以正常速度执行，且不依赖于大量的数据训练。但它严格依赖Sim-to-Real，如果Sim-to-Real仿真做得好，在现实中就可以做好。
人类是怎么做的？我们以日常生活中的例子拍了一段视频：做早餐时正在倒牛奶，旁边煮鸡蛋的锅开锅了，人不会停下倒牛奶，而是这边继续倒，另一只手去处理锅。抹黄油或果酱也一样，不仅靠视觉；视觉能做但很慢，显然需要力觉介入。我们要找原理，解释人如何做，并实现类似过程。
我们发现，人操作时用到大脑里的神经组织叫DAN，即背侧注意网络，主要负责视觉等传感信息处理。人不是把视觉、触觉、声音等信息直接传给大脑，大脑处理不了这么多数据。DAN是由大脑告诉传感器要做什么：比如抹黄油，什么感觉最相关？大脑把要求告诉传感器，感知经过大脑指挥下的滤波，只有有用信息进入大脑，没用的扔掉。DAN的生物学名字包含“注意力”，和Transformer里的工程“注意力”含义相同；后者是具体操作，前者是生物学概念，但核心都与任务相关。所以我们想，大脑里是不是有很多启发方法，能帮我们比传统AI做得更好。
总结一下，对于人来讲，它是多传感器驱动的，既自然又反应速度比较快，不需要那么多计算过程，可以多任务并行。整个行为过程，虽然我们现在对生物学细节还不够清楚，但我们对这个过程有宏观的理解，可以清楚解释人为什么能这样去操作，只不过需要我们完成工程上的数学表达。
为此，我们做了一些工作，把两方面融合起来，重点谈脑启发的智能，即具身智能如何在机器人上实现。我们把工作限定在多任务操作：用多个传感器完成多个操作任务。两只手同时做事，一只手拿牛奶，另一只手打开锅盖，怎么靠多个传感器完成。单个传感器做了这边就做不了那边，必须找到办法。
具体来讲，我们左边模拟生物的DAN，看它在视觉上如何起作用。道理很好理解：左手拿杯子倒水，右手要拿下一个杯子，但两个杯子离得远，不可能在一个视场下同时看到；也不能一个摄像头看左边、一个看右边，否则两个独立系统的协调沟通又成问题。我们要解决的正是两手配合与协调：一个脑子指挥两个手，在不同场景下理解世界、完成操作任务。这些复杂任务怎么完成？我们借鉴DAN的Top-Down机制：大脑告诉下层传感器什么有用，传感器就把相关信息传给大脑，这个机制就叫Top-Down。
Top-Down机制具体怎么工作？以倒水为例：杯子重量可以估计倒出多少水，视觉可以看倒出多少水，声音频率变化也能判断倒出多少水。实际上，三个感知代表三条路，三条路都能走通。但当右手也需要视觉时，就把视觉附加到右手，只要左手留下的感知能帮我把任务完成即可；当任务完不成时，再把视觉调回来。按这个思路，我们做模仿学习，让机器人模仿人这样做，就能完成双手协同倒水这类复杂任务。
执行中，我们基于Transformer设计了一个具身操作架构，可以把多个传感器进行编码。编码之后不是直接推给后面的动作网络去学习，而是经过Top-Down处理，即经过任务注意力处理，只保留跟任务相关的信息。这样，网络就可以根据任务需求调配和选择三个传感器，分别匹配到每个任务上。
我们做了几组实验，比如只用视觉和听觉，以及各种干扰情况，目的是看三个传感器中，去掉一个或某个受干扰时，靠其他传感器能否完成。
实验结果形成了消融实验表：左边是训练所用传感器，第二列是部署所用传感器，后面是执行结果。其中三行特别值得注意：全模态训练+全模态部署，成功率高，各种干扰下都能成功；全模态训练+仅视觉部署，有视觉时100%成功，一旦视觉受干扰就不成功；仅视觉训练+仅视觉部署，复杂任务做不成，视觉受干扰时成功率不高，只能靠本体感知，有扰动时成功率也不高。
综合几百组实验：多模态训练和多模态部署，优于多模态训练、单模态部署；再优于单模态训练和单模态部署。现在的VLA、世界模型，就是单模态训练和单模态部署。有人会说，现在有很多人在做有触觉的VLTA，但这只是表面上把两个模态放在一起，等同于单模态。
生活中很多并行多任务操作，两只手要干不同的事。视觉和力觉结合去做很难的事，比如剥鸡蛋皮、拿脆薯片，虽然用了两个传感器，但逻辑上仍相当于一个传感器。视野不够就扩大视野，听觉不够就戴特殊耳机，这只是增强传感能力；在大脑神经网络里，可能还是同一个操作过程，等同于单个传感器，只是感知能力不够时，需要多个感知模态来增强传感信息。
我认为，人类智能不仅体现在单一超人能力上，更体现在普通人运用感知和四肢实现鲁棒、多样操作的智能。因此，具身智能应先搞清楚普通人如何处理感觉和行为，我们这部分工作正是关于感觉。
实验中，左手拿杯子时，所有感觉先附加在左手上。从右侧注意力可视化可见，杯子拿起后左手不必太关注，靠本体感知即可，视觉可转到右手。此时左手已看不到杯子，右手在抓杯，视觉为主。右手拿过来后，两个杯子进入同一视角，倒水正常进行。我们处理的多任务是视觉无法同时覆盖两者的情况：一旦开始倒水，声音出现，倒水不再需要视觉，声音足以完成，右手便可靠视觉拿第二个杯子，两个任务并行。这带来更快、更容易、抗干扰等特性；视觉被遮挡或受干扰、突发事件需要视觉时，可用其他剩余模态完成。
我们也对比了仅有视觉时如何完成这两个任务。不是不能做，而是一步步来，视觉只能先看左边、再看右边。结果是成功率会降低，时间也会更长。以后进工厂、进家庭，大家肯定关心时间效率。如果没有类似的办法把巧妙分配的两个任务叠加并行，效率一定会很低。这不仅是靠提高机械臂节拍操作速度就能解决的，而是要从原理上改进。
我们非常笃定：VLA也好，世界模型也好，甚至传感器融合，这些道理都是一样的，它是把能力扩大，用单模态的东西去做，用单模态的方式去攻坚特别难的事情。
另一条路线是在更复杂的环境下去解决复杂问题，其中一条路线就是靠增加传感器、增加机械臂的自由度，把冗余的部分利用起来。
另外一个工作是在双足机器人上，我们做了好多年。以前的踢足球，是两个机器人非常缓慢地踢，策略是执行视觉、定位、决策等五个模块，每个模块分别提高。这种方法用了二十年左右，每个模块都在改进，但逻辑关系没有改变。
最近我们也在Science Robotics发表了一篇文章，讲腿上的具身智能，整体做了强化学习训练。这篇文章中，我们没有采用传统的模块化的方法，而是用一个单网络，前面加了一个BEV，整体去学习训练，在仿真里做强化学习，让机器人自己学会踢足球，这个方法叫Reactive Soccer Skills，即反应式踢球。这样踢足球效果为什么好？因为我们实际解决了真实视觉和在仿真里怎么用的问题。
它既有成功也有不成功的情况。以我们关注的一方为例：对方进攻时，它能把对方进攻的球破解掉，一直带球向前；但反应式踢球也有被对方挡住的时候，如果不识别对手，快速去踢，就可能被对方挡住。而成功的一面则是：它每一次都能在对方要阻碍它的时候恰当出脚，到合适时候就直接射门得分。
这两种情况，都体现了我们做的反应式视觉，效果非常成功。最开始做的时候，机器人一见球就非常贪婪地要把球射进对方球门，不管对方球员在不在。机器人跑过去就踢，但对方恰好有一名队员，球正好踢到对方身上，反而进不了，这时就需要做一定处理。
传统方法是：有环境、传感器、执行器。我们做的方法是训练一个快慢系统中的“快系统”，也就是强化学习网络。在环境与传感器保持不变的情况下，由大脑在传感器之上引出一个感知网络，即Sensory Top-Down机制，告诉感知该把什么信息传上来。实际上在球场上，只有球门和场地线进入大脑，其他东西都被丢掉了。
另一条路是在行为时，有另一个Action Top-Down 机制下来，告诉下面的动作生成网络什么时候快、什么时候慢、什么时候传球、什么时候该做什么，而不需要大脑经过前面 VLA 里的大模型去处理这些信息，这个结构就是小脑。未来小脑会分化出更复杂的结构，不只是一个已有的简单结构或简单MLP就能胜任。
而大脑还承载另一部分，直接把传感器信息拿到大脑做高层次处理，这还有另外一条思路。但我们重点研究的是小脑这一块，我们希望大小脑的最终架构，是受脑启发的具身网络。它在处理传感器和执行情况时，会比传统VLA 或世界模型在模态和行为丰富性上具有更多优势。
还有一些今年在人形机器人运动会上面的结果。从结果可以看出它踢球的反应能力和真实程度。在整个运动会中，是唯一全自主、在真实场景中完成作业的机器人，没有任何人为参与，而且是在与人类同等条件下进行的比赛。它做出的决策和判断已经非常接近人的反应能力。虽然还不能跟人的力量和速度相比，但其智能水平已经越来越接近。
这个过程正是按照我前面所说的思路实现的。但它只是实现足球场上踢球这一件任务，因为它只保留了与踢球相关的注意力信息，其他信息都被略掉了。比如让它去工厂里拧螺丝，它就不会，因为拧螺丝需要另外一套注意力。
以上就是我通过两个案例跟大家分享的我们所做的工作和一些新的思路，谢谢大家。
活动预告
EAI 100（聚合智能产业创新中心）于2025年揭牌成立，是国内首个聚合智能产业创新平台。创新中心致力于打通跨产业协同壁垒，依托汽车产业链现有优势，加速具身智能、低空经济等产业规模化应用，系统性推动智能汽车与智慧城市协同发展。统筹开展智库研究、行业活动、资源对接等系列工作，目前汇聚专家及企业成员数量突破150家，实现聚合智能领域全方位、全链条覆盖。