蚂蚁灵波发布 LingBot-Vision:机器人视觉实现空间原生突破
蚂蚁灵波正式发布LingBot-Vision与LingBot-Depth 2.0,旨在解决机器人在真实世界中“看不清、看不准”的核心痛点。通过构建空间原生视觉基模,新技术显著提升了机器人对透明物体、细小目标及复杂光照环境的感知能力,为具身智能的落地应用奠定坚实基础。
在实测效果中,未经优化的原始深度图往往存在轮廓破碎、背景混淆等问题,导致香槟塔等透明物体结构缺失。而搭载 LingBot-Depth 2.0 的机器人视角下,物体边界清晰、层级分明,甚至连细微的透明水柱也能精准识别。这种高精度的空间感知对于机器人的抓取规划、导航避障至关重要,能有效避免因视觉误差导致的操作失败或运动抖动。
业界评价认为,攻克玻璃、透明物体等视觉难题是具身智能发展的重要里程碑。看得见仅是起步,看得准才是行动的前提。
攻克四大视觉难点,重塑空间感知精度
尽管具身智能概念火热,但在工厂、家庭等真实场景中,视觉感知的稳定性仍是首要挑战。LingBot-Depth 2.0 针对性地解决了以下四类核心难题:
透明与反光材质识别
透明杯壁、玻璃门等物体在传统深度传感器中常出现数据缺失或边缘粘连。LingBot-Depth 2.0 通过补全稳定的空间骨架,精准还原杯口、杯壁的几何关系,使机械臂能准确判断抓取点及避障距离,顺利完成如接水等精细任务。
小目标与远距离探测
在户外追逐网球等场景中,传统模型难以分辨远处的小目标。新技术能清晰呈现地面、墙体、宠物及微小物体的空间位置关系。这对于移动机器人至关重要,使其能提前识别远端障碍物,避免临场急停或误判,提升导航安全性。
室内复杂场景适应
面对家庭中杂乱摆放的杂物、变化的光照以及玻璃、窗帘等特殊材质,新模型输出的深度图更加连续完整,有效保留了墙面、地面及物体的空间层次,为服务机器人在非结构化环境中的作业提供可靠输入。
弱光、遮挡与噪声抑制
在光线昏暗或结构交错的走廊场景中,LingBot-Depth 2.0 显著减少了边缘噪点和缺口,保持门框、桌面等结构的连续性。这表明机器人视觉已从单纯的语义理解,进化为具备“空间常识”的能力,能够准确判断边界、空洞及可通行区域。
首创“边界强制”机制,打造空间原生视觉底座
LingBot-Vision 的核心突破在于其“空间原生”的设计理念。与传统通用视觉模型侧重语义分类不同,该模型将几何结构特别是“边界”作为预训练的核心目标。
Masked Boundary Modeling 技术
团队提出了masked boundary modeling(掩码边界建模)策略。不同于随机掩码可能覆盖信息密度低的平坦区域,该方法利用教师模型在线识别图像中的关键边界 Token,并强制学生模型对这些高难度的边界区域进行重建学习。
通过引入boundary-forcing机制和分类化边界场表示,模型不仅学习“是什么”,更深入学习“边界在哪、形状如何、空间关系怎样”。配合 a-contrario 检验,有效降低了将噪声误判为结构的风险。
高性能与轻量化并存
实验数据显示,参数量约 10 亿的 LingBot-Vision 在密集空间任务上表现优异,在 NYU-Depth v2 基准测试中精度超越参数量达 7B 的 DINOv3 模型。更值得注意的是,其蒸馏后的 0.3B 学生模型即可达到与 7B 大模型相当的精度,参数量减少约 23 倍。这一特性极大降低了端侧部署的算力成本和延迟,使得资源受限的移动机器人也能拥有顶尖的空间感知能力。
推动具身智能从实验室走向真实世界
具身智能的真正落地,离不开视觉感知、运动控制与硬件传感器的协同进化。LingBot-Vision 与 LingBot-Depth 2.0 的开源与发布,为行业提供了一个可复用的高性能视觉底座,有助于降低开发门槛,加速移动机器人、机械臂、人形机器人等在仓储物流、工业巡检及家庭服务场景的应用验证。
目前,LingBot-Depth 2.0 已通过奥比中光深度视觉实验室认证,双方正围绕 EGO-RGBD 采集设备及一体化相机产品展开深度合作,推动技术从论文走向硬件集成。虽然传感器差异、场景泛化等挑战仍需持续打磨,但随着底层视觉能力的不断升级,机器人“看准”世界的能力将显著提升,具身智能大规模上岗的未来已近在咫尺。
相关资源:
模型权重:HuggingFace / ModelScope
代码仓库:GitHub (robbyant/lingbot-vision)
技术报告:arXiv (2607.05247)
项目主页:technology.robbyant.com

