大数跨境

智源悟界·PhysisServe:首个兼顾智能与高频吞吐的物理AI推理系统

智源悟界·PhysisServe:首个兼顾智能与高频吞吐的物理AI推理系统 智源研究院
2026-10-14
5
导读:智源联合逆矩阵、北大、vllm发布PhysisServe,首个兼顾智能与高频吞吐的物理AI推理系统。

智源研究院联合逆矩阵、北大、vLLM发布PhysisServe,首个兼顾智能与高频吞吐的物理AI 推理系统。PhysisServe首次实现让百亿参数量级世界模型以每秒千赫兹的实时输出频率,比已有前沿方案快了一到两个数量级。这表明:只要算力充足,即使物理智能基模扩展到百亿、千亿乃至万亿参数,模型推理仍能以任务所需的频率持续实时输出,参数量与输出频率将可以兼得。

人工智能的下一站是物理世界。 

目前,物理AI已经能够在设定好的环境中完成动作,但从相对稳定的实验室走向充满噪声、干扰与持续变化的真实场景,仍有很长的路要走。悟界·Physis致力于构建面向真实物理世界的「通用世界基座模型」,探索能够跨场景理解、预测与行动的通用物理智能,赋能具身智能、工业仿真与科学预测等广泛场景。

真实物理世界中的智能,需要理解环境如何变化,预测不同干预会产生什么后果,并将这些能力用于新的条件与任务。

  • 在物理仿真中,这意味着预测复杂系统的演化,为设计、验证与决策提供依据;

  • 在具身交互中,这意味着根据持续变化的观测调整行动;

  • 在工业生产中,这意味着适应材料、设备和工况的变化。

当物理 AI 面对成千上万种任务时,我们无法指望训练数据能覆盖每一个任务。物理AI系统要在动态环境和可变身体中持续更新记忆、切换任务、预测环境、适配身体并让模型演化。因此可归纳为这样的实践问题:

如何构建能够跨场景积累与复用经验的物理智能基座,并且使其以实际任务要求的速度与精度理解、预测和影响真实世界?

未来几个月,智源研究院联合逆矩阵将陆续发布针对这个问题的思考和技术成果,系统呈现构建通用物理智能的探索与实践。本文将从基础设施切入,探讨如何让更大规模的模型持续高频输出,并在有限算力下服务更多交互任务。

新一代物理AI的基础设施

Action-Conditioned World Model(ACWM)与World Action Model(WAM)均可采用自回归去噪的方式生成。

自回归去噪与大语言模型逐token的生成同属自回归,区别在于后一次输出是否必须等待前一次完成。大语言模型每次生成一个token,后一个token必须等前一个token经过全部Transformer block后才能开始计算,因此各token依次生成(图1左)。

自回归去噪则以chunk为单位生成连续帧:每个chunk从纯噪声出发,经过若干去噪步逐步变得清晰。后一个chunk不必等待前一个chunk完全去噪;前一个chunk每完成一个去噪步,后一个chunk就可以读取其在该步仍带噪声的KV cache,并执行自身对应的去噪步骤。相邻chunk的去噪因此可以前后错开、相互重叠,使各个chunk以较短的间隔连续完成(图1右)。

图1 左:逐token自回归;右:自回归去噪。时间轴标出每次输出的时刻:右侧的第一次输出并不更早,但此后的输出延迟短得多,整段更早完成。

生成范式的这一差别,最终落在输出频率上:逐token自回归的生成严格串行,每个token都必须等待前一个token走完所有Transformer block,输出频率被单个token的计算延迟锁死,堆叠再多算力也无法直接加速。

自回归去噪则天然可并行, 同一去噪步内的所有token可以同时推进,相邻chunk的去噪又前后错开、相互重叠,并行度可以随算力自由扩展,算力越充足,输出频率越高。

而物理世界恰恰以毫秒级的速度持续变化,要求模型以足够高的频率不断刷新对环境与动作的预测;自回归去噪这种可并行、可随算力扩展的生成结构,与高频变化的物理世界高度契合,也为PhysisServe的并行设计提供了结构上的出发点。

PhysisServe:让模型规模与输出频率共同扩展

面向物理AI的推理系统PhysisServe:只要算力充足,即使模型扩展到百亿、千亿乃至万亿参数,系统仍能以任务所需的频率持续输出——参数量与输出频率将可以兼得。PhysisServe将模型切分为多个stage,每个stage对应某一个去噪步上的某一个Transformer block,并以stage作为算力分配与调度的基本单位。系统设计沿着单路提速、算力共享和多路扩展三个层面展开:

  • Stage-wise流水线

    去噪步与Transformer block两个维度同时流水线化,使单路可利用的GPU数量扩展为二者数量的乘积。在稳定运行状态下,输出延迟由最慢stage的计算时间决定;增加去噪步数或模型深度主要增加流水线深度与所需GPU数量,而不再直接降低输出频率。

图2 每个stage独占一张卡的Stage-wise流水线(示意2个去噪步、4个block)。上方DAG的每一行对应一个stage、每一列对应一个chunk;下方GPU0–GPU7各执行一个stage,彩色方块表示正在处理的任务。带描边的C7展示单个chunk依次经过8个stage的路径:流水线充满后,最后一级每完成一次计算,时间轴便输出一个新的chunk;时间轴下方示意各chunk对应的动作帧,并标出相邻输出之间的output latency。

  • 时分复用

    将stage与物理GPU解耦,使一张GPU能够在不同时间片轮流执行多个stage任务。对于同一block上来自不同chunk的任务,调度器将其合并为batch后集中执行,从而复用权重加载和kernel调度开销。这样,GPU的空闲时间可以被其他chunk的计算占用,不再要求每个stage独占一张卡;在不追求极限输出延迟时,单路请求可以用更少的GPU完成,同时满足目标SLO。

图3 多路之间的时分复用。左边均分卡组,每个batch只含一路的任务;右边两路共享一张卡并跨路合批。Buffer为输出缓存。

  • 虚拟rank的动态放置

    将每条流在各个stage上的计算任务与运行状态封装为虚拟rank,再将虚拟rank映射到物理GPU。新流到达时,调度器根据各卡的剩余容量为其选择放置位置;只有当整条流的所有stage都能被容纳时才接纳,已经运行的流不迁移。这样既能保持已有服务的稳定性,也能均衡卡间负载并利用零散的空闲容量。

图4 新的一路D的虚拟rank映射到物理rank。每个虚拟rank占一个显存位置,同一block上的任务合批;竖虚线为输出延迟,灰色为正在服务的其他路。

通过在ACWM与WAM常用的五个backbone上评估PhysisServe:Wan2.1 1.3B、Wan2.2 TI2V 5B、Wan2.1 14B、LTX-2.5 22B与MiniMax H3 33B,权重均未经剪枝、压缩或量化。每个stage独占一张卡时,33B的MiniMax H3单路极限输出延迟实测为4.1毫秒。即每秒输出约245个chunk,用作ACWM约合每秒1000帧,用作WAM最高可达3900Hz。

图5 五个模型在不同GPU数量下的单路输出延迟;每个stage独占一张GPU时,延迟收敛到1.9–7.6毫秒。

让智能跟上物理世界的节拍

世界模型越大,对物理世界的理解与预测有望越准确;但物理世界对实时性的要求很高,模型的输出频率一旦跟不上环境变化,再准确的预测也会失去价值。对于基于自回归去噪的世界模型来说,模型规模与输出频率长期难以兼得。这一矛盾的重要原因在于,现有推理方案的流水线切分粒度过粗,限制了其并行度,进而制约了输出频率,使得世界模型的实时性难以随算力增加而持续提升,成为世界模型落地真实场景的主要瓶颈。

PhysisServe通过stage-wise流水线提升单路输出频率,通过时分复用提高单路算力利用率,再以虚拟rank和联合调度支撑多路共享,为模型规模与服务能力的共同扩展提供了新的系统路径。

让参数量足够大的模型智能跟上物理世界的节拍,PhysisServe朝这一目标迈出了探索性的一步。

获取完整技术报告与参考文献:

https://physis-ai.com/blog/physisserve/index.html


【声明】内容源于网络
0
0
智源研究院
北京智源人工智能研究院(BAAI)官方公众号。智源研究院聚焦原始创新和核心技术,建立自由探索与目标导向结合的科研体制。支持科学家勇闯“无人区”,挑战最基础的问题和最关键的难题,推动人工智能理论、方法、工具、系统和应用取得变革性、颠覆性突破。
内容 354
粉丝 0
智源研究院 北京智源人工智能研究院(BAAI)官方公众号。智源研究院聚焦原始创新和核心技术,建立自由探索与目标导向结合的科研体制。支持科学家勇闯“无人区”,挑战最基础的问题和最关键的难题,推动人工智能理论、方法、工具、系统和应用取得变革性、颠覆性突破。
总阅读5.2k
粉丝0
内容354