物理智能的核心挑战：让 AI 在充满不确定性、行动后果难以撤销的真实世界中，形成感知、预测、行动与持续学习的完整闭环。

    作者丨张驰

    编辑丨马晓宁

大语言模型虽已长足发展，但多数能力仍局限于屏幕内的数字世界。将智能引入工厂、实验室和城市设施，意味着 AI 必须直面物体、空间、力与时间，在持续变化的环境中做出判断并承担实际后果。如何从处理数字信息跨越到可靠参与物理过程，正是“物理智能”（Physical AI）要解决的核心命题。

这一跨越的难度远超模型参数或推理能力的衡量范畴。机器人抓取杯子需综合识别位置、形状、摩擦与受力；实验设备操作需兼顾任务理解、精度、时延与安全约束。网页操作失误可刷新，物理世界的碰撞与损坏却往往不可逆。感知的及时性、动作的可控性及失败后的恢复能力，直接决定系统能否落地应用。

在 CNCC 2026 首日 Tutorial 专题论坛上，上海交通大学计算机学院教授、上海人工智能实验室物理智能中心负责人张伟楠发表《物理智能及关键技术概述》演讲。他指出，基础模型、世界模型、强化学习、高吞吐仿真及硬件成本下降正推动物理智能从愿景走向实践，但真实交互数据昂贵、环境局部观测及长时程预测误差累积等问题仍是主要制约。

张伟楠梳理了涵盖硬件系统、数据仿真、感知认知、世界模型、基础模型、智能体及应用层的七层技术栈，强调层间接口衔接及“感知-决策-执行-反馈”闭环的重要性。同期，上海人工智能实验室发布专著 Physical AI: Concepts, Techniques, and Challenges，系统梳理该领域概念与挑战（预印本见 https://arxiv.org/abs/2610.27045）。

从屏幕后走向物理世界

若以“与物理世界的耦合程度”为轴线，AI 的发展路径是从数字工具、仿真智能体，演进至真实环境的单/多智能体协作，最终形成广域泛在的物理智能服务。相比数字 AI，物理世界带来三类本质困难：

1. 不确定性下的后果性交互：物理操作不可一键重置，系统必须在状态不完全确定时预判行动后果。

2. 对演化中物理状态的感知：物理世界感知具有局部性，建模需承认部分可观测性，并为新传感方式预留接口。

3. 受物理结构约束的学习与泛化：模型需从观测与交互中学习物理结构，实现分布之外（OOD）的泛化，而非仅依赖预设公式。

当前推进物理智能具备五大成熟条件：基础模型提供泛化起点；世界模型支持行动前预演；强化学习与高吞吐仿真优化策略；虚实差距缩小促进数据融合；硬件与试错成本降低加速迭代。

物理智能的核心，是系统性的闭环能力

物理智能定义为：人工系统感知物理环境状态，维持任务相关的物理关系与动作后果表征，通过物理接口选择并执行干预，在多重约束下利用反馈达成目标的能力。

具身智能 vs 物理智能：具身智能侧重智能体及其身体，而物理智能研究范围更广，侧重整个系统能否形成“感知-决策-物理后果”的闭环。例如，DeepMind 控制托卡马克装置等离子体属于物理智能应用，但非传统具身机器人。

物理智能不仅关注单一技术或智能体，更强调将感知、预测、干预和反馈结合，使系统在具体任务和真实约束下协同工作。其应用不仅限于降本增效，更旨在激活制造、服务、城市运行及科学设施中的新需求。

技术全景：七层技术栈与两类贯穿回路

物理智能技术全栈分为七层：

1. 硬件与系统：传感器、执行器、端边云协同及可靠部署。

2. 数据与仿真基础设施：示范采集、物理引擎、虚实迁移和数据迭代。

3. 感知与认知：多模态融合、时空表征、场景语义与交互感知。

4. 世界模型：表征物理状态，预测动作后果及不确定性。

5. 基础模型：面向操作任务及全身运动控制的两类模型。

6. 物理智能体：目标接地、任务分解、动作组织、失败恢复及多智能体协作。

7. 应用层：制造、服务、交通、实验室等行业应用。

贯穿各层的还有两类回路：在线闭环（观测上传、指令下发，涉及毫秒至分钟级嵌套时间尺度）和离线数据飞轮（数据回流驱动模型更新再部署）。层间接口与闭环构建是当前共同难点。

感知与认知：把物理信号变成可用于决策的状态

感知是后续学习和控制的基础，主要包含三条主线：

1. 多模态感知与融合：视觉提供几何运动信息，力觉触觉揭示接触性质，本体感觉测量自身构型。

2. 三维、四维空间感知：利用点云、体素等刻画场景几何及其随时间的变化。

3. 高层感知与认知：理解场景语义、物体属性及交互关系（如视觉接触是否意味着承重）。

系统还需在观测不足时主动调整视角或探触物体，为控制提供及时、带不确定度的状态估计。

数据与仿真：数据金字塔中的成本与质量权衡

物理交互数据存在天然流失问题。具身操作数据呈金字塔结构：

- 顶层：机器人遥操作数据，贴近真实但采集成本高。

- 中层：手持夹爪设备数据，采集较快但仍需专用设备。

- 底层：人类第一视角视频，易于规模化但与执行距离较远。

仿真是改变数据获取方式的关键。如何组合各类数据与仿真数据，是世界模型与操作模型训练的重要议题。

世界模型：预测动作之后，世界会怎样变化

世界模型需以动作为条件预测下一状态。其路线包括观测生成、物理结构表征及潜在空间动力学。核心目标并非完整复刻现实，而是在有限资源下提取有用信息，赋能智能体高质量交互。研发需关注全模态、异步信号与局部观测，最终服务于行动决策。

操作基础模型：从视觉、语言走向动作

VLA（视觉-语言-动作）模型是主要路线，通过在视觉语言模型基础上增加动作输出模块，实现机器人动作序列执行。随着通用多模态基础模型能力提升，专用“具身大脑”面临被吸收的挑战。上海人工智能实验室的书生 VLA 模型正探索在有机化学合成流程中的泛化应用。

全身运动控制：让身体成为可控制的交互媒介

即国内常称的“小脑”，负责机器人移动至合适位置并保持执行状态。这类模型参数量较小，可部署于端侧芯片高频交互。身体既是机器人一部分，也是智能系统可控的环境部分，需对其动力学进行建模以实现泛化。

物理智能体：组织长时程任务与持续运行

该层负责理解目标、拆解任务及组织执行，支持长时程任务中的失败恢复、记忆利用及多智能体协作。基于通用基础模型构建能长时间运行、持续演进的任务系统是重要方向。

硬件与系统：端、边、云之间的协同

需根据任务对算力、时延与可靠性的要求，在端侧（低延迟、高频交互）、云侧（大模型、高延迟）和边缘侧之间进行合理部署与协同，连接传感器、执行器、芯片与软件。

走向真实世界中的持续学习

当前核心挑战包括：

1. 获得可泛化的物理知识：智能体需在真实世界中持续学习，将知识编码在潜在空间中以服务世界模型与控制。

2. 可靠的长时程预测：需在预测距离、累积误差和算力之间权衡，应对混沌系统的偏差。

3. 闭合交互回路：解决高精度感知与控制难题，避免过度依赖外部动作捕捉或人工操控。

未来需推进操作、视觉、运控等基础模型的融合，重视本体、芯片与软件协同。从文明尺度看，自主工作的物理智能系统将是大规模空间开发和能源利用的关键。物理通用人工智能是长期目标，而可靠性与安全机制是其必要条件。

现场问答

问：无线通信等领域的高精度数据采集昂贵，数据稀缺如何解决？

张伟楠：建立“真实-仿真-真实”的闭环。利用仿真数据改善智能体与真实环境的交互，提高后续高质量数据获取效率，逐步降低成本。实施中需结合领域知识充分迭代。

问：物理智能什么时候能通过 Scaling 学到更多物理知识？

张伟楠：Scaling 正扩展至智能体与环境的交互。物理世界足够大，关键在于让模型接触丰富环境和任务。不必强求模型写出牛顿定律，而是让其通过全模态感知在潜在空间中刻画状态变化结构，进入新环境后通过交互持续学习。

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

//

推荐阅读

超万人齐聚成都！CNCC2026今日开幕：不仅回答「做了什么」，更指引「往哪里走」

模态缺失、噪声干扰怎么办？天津大学张长青：给多模态融合加上「可信度量尺」| CNCC 2026

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。