大数跨境

蚂蚁灵波全栈 2.0 来了!具身原生,让智能走进物理世界

蚂蚁灵波全栈 2.0 来了!具身原生,让智能走进物理世界 蚂蚁技术研究院
2026-07-10
3
图片

(一)LingBot-Depth 2.0:空间感知新突破

继 2026 年 1 月 LingBot-Depth 1.0 开源以来,我们收到了来自行业伙伴和开发者的大量反馈与期待。今天,我们正式发布全新一代空间感知模型 LingBot-Depth 2.0,以及同步开源视觉基座模型 LingBot-Vision。我们构建起机器人从"看懂"到"看准"的能力链路,旨在应对机器人视觉在空间感知、精细识别和复杂环境适应等方面的核心挑战。


01

从 300 万到 1.5 亿数据,模型能力全面升级


LingBot-Depth 是一种面向真实场景的深度补全模型,相当于机器人在物理世界的眼睛。在此前的 1.0 版本中,我们解决了机器人看清透明、反光、密集物体的空间感知难题。而这次的 2.0 版本,在此基础上实现了全面升级。


LingBot-Depth 2.0 的训练数据从 1.0 版本的 300 万扩充至 1.5 亿规模,在深度补全基准的 16 项测评中,获得 12 项第一;面对最难的室内大面积深度缺失场景,深度误差较上一代减半(RMSE 从 0.132 降至 0.062);在玻璃、镜面、透明物体等传统深度相机最容易失灵的场景中表现尤为突出,能够补全出完整、平整的三维结构。

图片

目前,LingBot-Depth 2.0 已通过奥比中光深度视觉实验室专业认证。实际场景测试显示,基于奥比中光 Gemini 330 系列双目 3D 相机提供的芯片级 3D 原始数据,LingBot-Depth 2.0 在边缘清晰度、物体轮廓完整性、细小物体识别、远距离深度估计及复杂光照、材质场景下的鲁棒性等方面均有明显提升。


图片

LingBot Depth 2.0 通过奥比中光深度视觉实验室专业评测,在多型号传感器的空间和时域深度估计任务上都展现了极高的精度和稳定性


02

技术支撑:业内首创“边界结构”预训练的 LingBot-Vision


LingBot-Depth 2.0 的突破性进展,除了源于数据量的积累,也得益于 LingBot-Vision 提供的突出视觉表征能力。


作为一款通用视觉基础模型,区别于之前视觉基础模型的建模方式,面向空间原生需要 LingBot-Vision 率先开启几何建模方式,也是业内首个把"边界结构"作为预训练目标的视觉基础模型,实现了空间感知训练范式的突破。它拥有亚像素级的边界定位与空间结构理解能力,实现了更高精度、更稳定的空间感知能力。


LingBot-Vision 的预训练语料仅为 1.6 亿张图像,比 DINOv3 小一个数量级。即便如此,与主流视觉基础模型相比,LingBot-Vision 对物体边界和空间结构的识别更清晰、更稳定,且能在视频中连续追踪物体边界。


图片

与主流视觉基础模型相比,LingBot-Vision对物体边界和空间结构的识别更清晰、更稳定


本次,我们开源了 LingBot-Vision 的 4 个版本——ViT-G/L/B/S。LingBot-Vision 除了支持 LingBot-Depth 2.0 的训练,还具备"一模多用"的通用能力。


03

携手奥比中光,加速产业落地


在商业化方面,我们已与奥比中光在诸多方面展开深度合作。奥比中光最新推出的无本体数据采集产品矩阵中,RGB-D 版本的 EGO 设备将适配我们专门为数采场景优化的 LingBot-Depth 版本。后续还将进一步集成更高级别商业版本模型,持续补全深度缺失、优化物体边缘和空间结构细节,为具身智能模型训练提供更精准、更稳定、更可用的真实世界数据底座。


此外,奥比中光将推出集成 LingBot-Depth 最新模型能力的 SDK 产品,供机器人客户在端侧使用,让使用 Gemini 330 系列相机的机器人获得更好的深度效果;并计划于年底推出集成 LingBot-Depth 商业版的一体化相机产品,实现"3D 相机 + 空间感知能力"的一体化交付。随着两款模型的发布,双方合作有望延展至更多领域。


目前,两款模型的技术报告、LingBot-Vision 的模型权重已开源。我们希望以开放的方式与行业共建机器人视觉底座,让机器人突破在真实物理世界中"看懂、看准、看稳"的行业瓶颈,加速具身产业规模化落地。


  • Website:

    https://technology.robbyant.com/lingbot-vision

  • Model:

    https://huggingface.co/collections/robbyant/lingbot-vision

    https://www.modelscope.cn/collections/Robbyant/LingBot-Vision

  • Code:

    https://github.com/robbyant/lingbot-vision
  • Tech Report:

    https://github.com/robbyant/lingbot-vision/blob/main/paper.pdf


(二)LingBot-VLA 2.020+ 构型泛化,多自由度支持

当前,具身智能产业日新月异,“小脑”和硬件本体加速演进。但行业“通用大脑”仍是规模化产业落地的核心制约。从“大脑”的角度,无论是模型能力,还是模型落地的效率与成本,都亟待突破。


今天我们正式开源新一代具身基座模型 LingBot-VLA 2.0作为今年 1 月开源的 LingBot-VLA 1.0 的全面升级,LingBot-VLA 2.0 在构型泛化、自由度支持和落地效率等方面实现了显著提升。



全面扩展构型与自由度支持







支撑这些能力升级的,是更大规模、更高质量的数据体系和更优的训练架构。我们从 9 万小时数据中清洗出 5 万小时高质量真机数据并从 2 万小时第一视角人类操作数据中提炼 1 万小时有效数据使预训练数据总量达到 6 万小时


同时,我们的数据覆盖了 17 个主流机器人品牌的 20 种机器人构型。这些品牌包括乐聚、智元、星尘智能、宇树、松灵、星海图、银河通用、睿尔曼、Franka、方舟、北京人形、傅利叶、魔法原子、千寻、零次方、非夕和青龙,构型上同时包括了单臂与双臂,双足与轮式等多种形态。

图片

与此同时,LingBot-VLA 2.0 全面扩充了对头部、腰部、末端执行器以及底盘等自由度的支持。

双臂协同与移动操作能力的双重突破







在双臂操作方面,基于上海交通大学 GM-100 评测,在 AgileX Cobot Magic 和 Galaxea R1 Pro 两个双臂机器人平台上LingBot-VLA 2.0 的总体平均任务进度分和成功率均领先于 π0.5 与 GR00T N1.7本次评测中,所有参评模型均以单一通用模型(generalist)部署,未针对特定任务做专项微调(specialist)。这一结果展现出 LingBot-VLA 2.0 更强的双臂协同操作能力和跨本体、多任务泛化能力。

图片

LingBot-VLA 2.0 在 GM-100 评测中性能综合领先

在移动能力方面,我们基于方舟机械臂 + 松灵底盘,以及绳驱轮式人形机器人星尘智能 S1 两类构型,与 π0.5 做了初步对比测试。结果显示,LingBot-VLA 2.0 在长程移动操作任务中的任务进度分和成功率均实现领先,尤其在更具挑战性的跨域场景中保持优势。这展现出更强的长序列任务推进能力和移动操作泛化能力。

图片

在长程移动操作任务上,LingBot-VLA 2.0 在跨域场景中优势明显

值得一提的是,在移动操作评测中,任务被拆解为多个连续子步骤,每个步骤根据难度和重要性赋予不同分值。机器人完成相应步骤即可获得对应分数,最终总分反映其在长序列任务中的任务推进能力。相比单纯统计最终成功率,这种评分方式能更细致地衡量模型在移动、双臂协作、抓取、放置、开门、清洁等不同环节的综合能力。

提升推理效率,加速商业落地







当前,行业已逐步进入产业落地试点阶段,高效后训练也是模型落地应用的关键制约因素之一。为此,蚂蚁灵波同步开源了更高效的后训练版本推理耗时在 RTX 4090 上控制在 130 毫秒以内


除了技术层面的升级,我们也在积极推进商业试点。目前,我们已携手乐聚、钛虎等生态本体伙伴,以及国大药房、隆盛等生态客户伙伴,在零售、物流、工业等落地场景开启了全面商业落地测试。另一方面,我们联合简智等数据生态伙伴,共建标准化数据体系。同时,地瓜机器人推出的旭日 S600 芯片及英伟达 Jetson 系列 Thor & Orin 芯片,也已完成对 LingBot-VLA 模型的适配。一个以跨构型 VLA 基座模型为核心,本体、数据、芯片厂商深度参与的具身智能生态正在成形。


我们期待继续与生态伙伴一起,共同推动具身智能产业的繁荣发展。


LingBot-VLA 2.0 现已开源。欢迎大家在 Hugging Face、魔搭社区获取模型权重,在 GitHub 获取开源代码。我们还将很快开启系列开发者活动,并同步推出更适合开发者的技术套件。


  • Website:

    https://technology.robbyant.com/lingbot-vla-v2

  • Model:

    https://huggingface.co/collections/robbyant/lingbot-vla-v2

    https://www.modelscope.cn/collections/Robbyant/LingBot-VLA-V2

  • Code:

    https://github.com/robbyant/lingbot-vla-v2

  • Tech Report:

    https://github.com/robbyant/lingbot-vla-v2/blob/main/assets/LingBot_VLA_2_0.pdf


(三)LingBot-World 2.0:无限世界,实时交互





继世界模型 LingBot-World 1.0 开源以来,我们在交互式世界模型的方向上又迈出了重要一步。今天,我们正式开源全新一代实时交互世界模型——LingBot-World 2.0(又称 LingBot-World-Infinity)。


这一次,我们直面了一个更具挑战性的问题:如何让这个世界不再是短暂的片段,而是一个能够无边界延展、实时响应交互、并持续自我演化的世界。


LingBot-World 2.0 全面升级了世界预测与交互能力——支持更多动作与事件解锁多样化交互玩法与模拟小时级时长实时生成时间运行画质不衰减稳定输出 720p/60fps 高清实时画面我们希望通过开源,为游戏开发、交互式创作、自动驾驶仿真以及具身智能训练,提供一个更加强大、可持续的开源基座。



更丰富的交互动作与事件:不只是导航







传统交互式世界模型的动作空间往往局限于简单的镜头移动与角色导航。LingBot-World 2.0 在这一维度上进行了大幅扩展。


在动作层面,模型支持了远比前代丰富的角色动作类型——包施法、攻击、射箭、射击战斗动作,以及跳跃、滑翔等运动动作。这些动作不是简单的动画叠加,而是由模型根据当前场景状态实时生成对应的视觉变化,确保动作结果与环境之间保持物理合理性与视觉一致性。



在事件层面,LingBot-World 2.0 支持更丰富的文本驱动事件。你可以通过文本指令触发宏观环境变化——例如从城市切换到森林、召唤一场暴风雪、让天空中飞过一群鸟——也可以注入新的实体或道具。模型会根据当前世界状态,判断合理的时空插入点,并将这些变化无缝融入正在运行的世界中。



此外,系统还内置了 Agent 机制:Pilot Agent 负责规划和执行角色行为,Director Agent 则在场景推进过程中实时提出新的环境事件,让世界不再静止,而是不断自我演化、随你而变。LingBot-World 2.0 还支持多人同时进入同一个世界,多位用户可以在同一个持续运行的世界中共同探索、互动,开启 AI 原生的多人交互体验。


突破短时生成的天花板:

小时级稳定运行的无边界世界







在交互式世界模型的构建中,最棘手的难题莫过于“长时漂移”。当视频生成的时间线拉长,误差往往会随着帧数累积,导致画面出现纹理模糊、几何变形,最终使得原本合理的场景彻底崩坏。因此,传统模型往往只能维持几秒到几分钟的稳定生成,内容结束后便无法继续。


LingBot-World 2.0 的核心目标,是让世界可以持续运行——用户可以不断输入动作,环境也可以随着时间不断变化,而不是在一段固定时长的视频播完后就结束。为此,我们采用了精心设计的因果预训练范式(Causal Pretraining Paradigm),从根本上抑制了复合误差的产生。同时,我们提出了混合双向与自回归注意力掩码机制(MoBA),在保持生成质量的同时有效缓解了长程自回归导致的误差积累与画质退化。


在长达一小时的不间断压力测试中,LingBot-World 2.0 展现出了惊人的持久力:画面始终保持着锐利的纹理和连贯的场景,没有出现明显的画质衰减。论文实验表明,这种稳定性不是偶然的短视频片段效果,而是模型的结构性能力。在与现有开源及闭源系统的对比中,LingBot-World 2.0 是唯一能够实现小时级(乃至无限)生成时长的通用交互世界模型。


图片

告别延迟:720p/60fps 的高清实时交互







一个真正可用的数字演练场,不仅要能持久运行,还必须对用户的每一个动作做出即时响应。然而,高保真视频渲染与实时交互之间往往存在巨大的算力矛盾。


为了打破这一瓶颈,我们从预训练的因果世界模型中蒸馏出专为实时交互设计的快速版本。结合一致性蒸馏(Consistency Distillation)与分布匹配蒸馏(DMD),我们在大幅降低采样成本的同时,有效抑制了长时自回滚带来的视觉退化。


在工程部署层面,我们引入了编译器级别的注意力 kernel 优化、混合并行推理策略、动态 KV 缓存调度以及异步流媒体传输机制——系统不是“等整个视频块生成完再显示”,而是边生成、边解码、边传输。最终,LingBot-World 2.0 成功实现了在 720p 分辨率、60fps 帧率下的稳定输出。你可以通过键盘实时控制角色移动与视角切换,在低延迟的响应中体验流畅的高清交互。



本次开源的 14B 模型提供高质量体验,适用于研究验证与复杂交互世界的构建,采用非商用开源协议。同时,我们联合 Reactor(PC 端)与灵光 APP(移动端)提供了在线体验入口——你可以直接在平台上感受 World 2.0 的实时生成与交互能力,无需自行部署。SGLang 也已于 Day 0 完成对 LingBot-World 2.0 的适配,开发者可以开箱即用地进行高效部署与推理服务


目前,LingBot-World 2.0 的模型权重及推理代码已全面开源,欢迎大家访问我们的开源仓库:


  • Website:

    https://technology.robbyant.com/lingbot-world-v2

  • Model:

    https://huggingface.co/collections/robbyant/lingbot-world-v2

    https://modelscope.cn/collections/Robbyant/LingBot-World-V2

  • Code:

    https://github.com/Robbyant/lingbot-world-v2

  • 在线体验地址:

    https://www.reactor.inc/lingbot-world-v2

  • Tech Report:

    https://github.com/Robbyant/lingbot-world-v2/blob/main/paper.pdf



(四)LingBot-Video:全球首个面向具身智能的视频基模


今天,我们正式开源 LingBot-Video。这是全球首个基于 Mixture-of-Experts(MoE)架构面向具身智能的开源视频生成基础模型


过去几年,视频生成模型在画质、流畅度和创意表达上取得了快速进步。但对于具身智能来说,一个看起来逼真、动作流畅的视频,未必能反映真实的物理规律,往往难以支撑机器人连续预测、规划和执行任务。与此同时,具身智能还要求模型具备更高的推理效率,以适应实时交互和控制闭环。


这也让视频生成开始出现两种不同的演进方向:一条通向影院,服务于内容创作;另一条通向机器人,服务于物理世界的理解、预测与交互。LingBot-Video 正是我们面向具身智能开辟视频生成新路线的重要探索——围绕具身智能的核心需求,重新设计视频预训练范式,在推理效率物理合理性动作理解和任务完成度等方面实现系统性提升。



架构、数据、训练三方面的系统创新







面向具身智能,LingBot-Video 从架构、数据和训练三方面进行了系统创新:


  • 架构:DiT + MoE 设计

我们以 MoE 替代传统 Dense 架构,在扩大模型容量的同时控制单次推理成本。LingBot-Video 的 30B 总参数模型在生成时仅激活约 3B 参数,相比同等参数规模的 Dense 架构拥有约 3 倍的推理效率。这一设计使模型既能获得大规模参数带来的视觉表达能力,又更适合具身智能对高效推理的要求。


  • 数据:数据画像引擎与 7 万小时具身数据

我们构建了数据画像引擎,在海量互联网视频的基础上,进一步引入 VLA、VLN、Ego 等机器人相关数据。这些数据覆盖了灵巧操作、机器人移动和第一视角交互等场景,总规模达 7 万小时。这些数据帮助模型学习动作与环境变化之间的关系,而不只是学习视频的表面纹理和视觉风格。


  • 训练:多维强化学习奖励系统

我们引入了多维强化学习奖励系统。除美学、prompt 跟随和运动一致性等常规指标外,模型进一步围绕物理合理性和任务完成度进行对齐。我们还引入了真实世界视频作为偏好信号,使生成结果更符合真实世界规律,也更贴近机器人在真实世界完成任务的需求。

模型效果







在北京大学联合字节跳动发布的基准 RBench 上,LingBot-Video 的总分是 0.620,超越了 Wan2.6(0.607)、Seedance 1.5 Pro(0.584)、Cosmos3 Super(0.581)。RBench 作为面向机器人操作视频的综合评测基准,重点考察模型能否生成符合真实物理规律的机器人行为。这一结果表明,LingBot-Video 在生成机器人相关视频时,更能保持动作过程的合理性和任务执行的完整性。

图片

图说:LingBot-Video 在 RBench 上性能最优

为进一步验证 LingBot-Video 对物理世界变化的建模能力,蚂蚁灵波在内部 benchmark 中从通用质量和具身领域两个维度进行评估。结果显示,LingBot-Video 在具身领域表现优于 NVIDIA Cosmos 3、Wan 2.2 A14B、LongCat-Video、Hunyuan Video 1.5、LTX-2.3 等主要基线模型。此外,在面向物理现象生成与预测的 Physics-IQ Verified 评测中,LingBot-Video 同样排名第一。

图片

综合评测显示,LingBot-Video 在具身相关场景中展现出更强的物理理解和动作一致性

LingBot-Video 可用于机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等方向。目前,LingBot-Video 已正式开源。我们期待继续与社区一起,探索下一代具身智能的可能。


  • Website:

    https://technology.robbyant.com/lingbot-video

  • Model:https://huggingface.co/collections/robbyant/lingbot-video

    https://modelscope.cn/collections/Robbyant/LingBot-Video

  • Code:

    https://github.com/robbyant/lingbot-video

  • Tech Report:

    https://github.com/Robbyant/lingbot-video/blob/master/paper.pdf

(五)LingBot-VA 2.0 行业首个具身原生世界动作模型

继本周多项模型成果相继发布后,今天,我们继续为大家带来蚂蚁灵波“具身原生全栈技术路线”的关键进展——行业首个具身原生基础模型 LingBot-VA 2.0 正式发布。


  • Website:

    https://technology.robbyant.com/lingbot-va-v2

  • Tech Report:

    https://github.com/Robbyant/lingbot-va/blob/main/LingBot_VA2_paper.pdf



我们期待与全球开发者、研究者、产业伙伴一起,共同探索交互式世界模型的无限可能。LingBot-VA 2.0 的发布,标志着机器人基础模型正式从“基于数字世界模型构建”转向“面向物理世界原生设计”的关键转变。它代表了具身智能发展的一种关键路线选择:机器人“大脑”不再依托数字世界模型能力的“嫁接”,而是从动态建模、因果预测、实时执行等与环境交互的原始需求出发,进行原生设计。


LingBot-VA 2.0 基于自回归架构从零开始进行具身原生预训练,使机器人能够在执行任务时持续判断“世界接下来会如何变化”,并同步生成下一步动作,真正具备了像人一样“边推演、边行动”的通用控制能力。

LingBot-VA 2.0 在真机测试中表现出了出色的执行速度和泛化能力。以下面这个视频为例,在不依赖任何外部拍摄设备的情况下,机器人就可以完成与人类的多轮随机对打。


图片


技术路线:从零预训练,具身原生设计







今年以来,世界模型与具身智能的融合一直是各方关注的焦点。以终为始,从物理世界的“控制执行”需求出发,就需要持续符合因果规律的“预测能力”。机器人要面对的是一个连续变化的真实世界,不仅要针对当前情况作出反应,还要理解一个动作会引发怎样的环境变化,并据此决定下一步动作。


当前行业的主流路线,大多依托面向数字内容创作的视频生成模型,再通过微调的方式适配机器人控制任务。然而,内容创作更在意画质和创意,机器人控制则更在意执行效率和预测的合理性。


更根本的结构性错位在于:面向内容创作的视频模型通常采用双向建模,依赖过去和未来的全局信息来生成连贯画面;而机器人在物理世界中的执行是严格单向符合物理规律的。这种“预测范式”与“执行范式”的错位,使得后期微调路线容易出现能力迁移不足、动作精度下降和灾难性遗忘等问题。


为彻底解决这一问题,LingBot-VA 2.0 选择了一条更艰难的路——放弃对双向视频生成模型的后期微调基于自回归架构从头开始预训练,原生设计具身世界动作模型


四大核心设计:

让机器人“边推演、边行动”







机器人“大脑”不再是能简单借用为数字内容生成而训练的模型,而是需要从动态建模物理交互、因果预测和实时动作执行等真实需求出发进行原生设计。关注我们本周开源进展的朋友可能已经注意到,LingBot-World 2.0 的因果建模范式与 LingBot-Video 的 MoE 设计,都被浓缩到了 LingBot-VA 2.0 的架构中。我们通过四大核心设计,将这些能力融合并重构为一个统一的具身原生基础模型。


语义视觉-动作分词器(Tokenizer)——在视觉压缩过程中,我们加入了语义与动作信息的对齐。这使得模型在后续训练中更容易把“理解指令”转化为“完成动作”,有助于指令跟随与提升动作精度。


严格的因果预训练范式——从训练一开始,模型就使用自回归架构按照机器人真实执行任务的时间顺序学习,确保视觉预测和动作生成完全遵循单向的时间规律。


MoE 架构(Mixture-of-Experts)——我们引入 MoE 架构,在不牺牲推理效率的前提下有效扩大了模型容量,在性能和效率之间取得平衡。


增强的异步推理机制(Foresight Reasoning)——为了实现实时闭环控制,我们设计了异步执行流。在机器人执行当前动作的同时,模型已经开始预测未来状态,并利用最新真实观测不断校正下一步决策。基于这些设计,在行业普遍面临的具身世界模型执行效率低这一问题上,LingBot-VA 2.0 给出了单卡 150Hz 实时推理效率的答卷。


全栈技术路线全面亮相







本周,我们连续发布和开源了六款模型,包括:面向空间感知的 LingBot-Vision 和 LingBot-Depth 2.0,面向“一脑多机”的动作模型 LingBot-VLA 2.0,面向实时交互的 LingBot-World 2.0,和面向更高推理效率的视频生成基模 LingBot-Video。上述模型代表着灵波在持续探索具身原生需要的细分方向能力,而 LingBot-VA 2.0 作为集大成者扮演了收官之作的角色,也正式开启了具身原生新阶段。


至此,蚂蚁灵波“具身原生全栈技术路线”已全面亮相——以具身原生世界动作模型为核心中枢,串联空间感知、灵巧操作与物理世界模拟,形成感知、预测、执行的完整闭环,并在底层深度融合物理数据与虚拟数据,为“一脑多机”的规模化落地提供系统性支撑。


我们期待继续与全球开发者、研究者、产业伙伴一起,探索具身智能的上限。


【声明】内容源于网络
0
0
蚂蚁技术研究院
蚂蚁技术研究院致力做有用、有想象力的科研。面向数字化、智能化未来,瞄准世界科技前沿,推进关键核心技术攻关,促进“产学研用〞深度融合,为做强做大做优我国数字经济努力贡献力量。
内容 152
粉丝 0
蚂蚁技术研究院 蚂蚁技术研究院致力做有用、有想象力的科研。面向数字化、智能化未来,瞄准世界科技前沿,推进关键核心技术攻关,促进“产学研用〞深度融合,为做强做大做优我国数字经济努力贡献力量。
总阅读1.6k
粉丝0
内容152