空海跨域潜航器
作为水下具身智能的重要载体
上天、入海
任意切换，游刃有余
可如果站在它的视角
一头扎进水里，又猛地冲出水面
刹那间水花四溅、起泡翻腾
摄像头捕捉的画面
被白茫茫的水花彻底糊住
目标明明还在运动
但在视觉画面里却消失了
怎么破？
跨介质航行器在入水和出水时，会经历水花、气泡、反射与折射叠加的短时干扰。目标在物理空间中持续运动，图像中的外观和可见范围却可能突然改变，视觉跟踪器因此容易丢失目标。
人类肉眼遇到这种场面，都很难判断物体藏在哪，机器又该怎么办？
是就此彻底跟丢目标，还是能够冲破水花干扰，重新锁定对象？
中国电信集团CTO、首席科学家、中国电信人工智能研究院（TeleAI）院长李学龙教授带领科研团队给出了新解法，针对水下具身智能在跨介质航行阶段的视觉受限瓶颈，开展跨介质视觉目标跟踪与鲁棒恢复方法研究，解决了水花遮挡下目标跟踪、丢失后快速恢复的技术难题。
TeleAI 团队提出了面向水花遮挡的跨介质视觉目标跟踪与恢复方法，构建了一套基于运动捕捉的连续位置标注流程，制定了跨介质恢复策略。其中，连续位置标注流程用于离线评测，跨介质恢复策略只依赖相机图像与首帧目标框进行在线跟踪。在实现跨介质目标追踪的同时，也让机器人真正看懂水下环境，为水下世界模型的构建提供感知输入。
评价跟踪效果，要先知道目标实际位于哪里，但在飞溅或完全遮挡的画面中，仅凭肉眼很难可靠地标出它的位置。
为此，TeleAI 团队搭建了一套基于运动捕捉的离线连续位置标注流程。
首先，在相机和目标本体加装标记结构，依靠水下运动捕捉系统获取二者精确位姿，统一时间轴，把三维目标几何模型投影到二维图像上，生成目标候选框。
随后，针对水下成像带来的位置偏移，引入介质门控的二维残差修正，再经过人工复核，得到水花遮挡阶段依然连续可信的目标位置框。
依托该方案，TeleAI 构建出包含 18 段视频，22346 帧图像的专用测试数据集，在目标短暂不可见时仍保留连续的位置参考框。
这套数据只用于评测，不用于训练跟踪器；实际运行时，跟踪器只能看到图像和第一帧的目标框。
视觉跟踪器通常会更新目标的参考图像，但水花遮挡目标时，一次错误更新就可能把气泡或背景当成目标，让后续跟踪越走越偏。
跨介质恢复策略专门解决水花遮挡后的目标重捕获难题。
其核心逻辑是：
跨介质恢复策略属于推理阶段策略，不需要重新训练视觉主干网络 MixFormerV2，可直接嵌入现有跟踪模型使用。
在完整测试集上，接入跨介质恢复策略后，MixFormerV2 的整体跟踪得分由 46.95 提升至 49.90，提高了 2.95 个百分点。这意味着，在整段视频中，算法给出的目标框与参考位置更加吻合。
在水面过渡与水花遮挡片段中，达到评测标准的画面由 4391 帧增加至 4622 帧，跟踪覆盖率从 47.91% 提升至 50.43%。新增的 231 帧有效跟踪，体现了算法在最容易跟丢的阶段，能够保留更多可靠的目标位置判断。
（点击播放视频）
从目标丢失到重新稳定锁定，平均恢复时间由 55.3 帧缩短至 49.3 帧，下降约 11%，对需要持续追踪运动目标的机器人来说，更快恢复意味着能够更早重新获得可靠的视觉反馈，为后续运动决策提供依据。
为了检验算法面对水花与气泡时的表现，团队搭建了配备水下相机和两组独立驱动螺旋桨的可控采集平台。
螺旋桨在近水面运行时，可产生气泡、飞溅和水面波动；通过调整运行条件，形成从轻度干扰到严重遮挡的不同成像环境。并开展户外实景采集，记录目标入水、出水的过程，让评测覆盖受控实验与实际环境中的水面变化。
在机载计算平台 Jetson Orin NX 上，算法处理回放视频的速度达到每秒 27 帧以上，展现了端侧实时推理的可行性，为后续接入航行器在线感知与控制系统提供了基础。
从“被水花遮住时，怎么测出目标真实位置”，到 “跟丢之后，怎么快速把目标找回来”。 此项研究，一方面补齐了水空跨介质视觉跟踪缺少遮挡真实数据的短板；另一方面提供了一套即插即用的在线恢复策略，为上天入海的跨介质机器人，打通复杂水空界面的持续视觉感知路径。
进一步，TeleAI 将继续扩充测试场景与目标类型，推进双机器人视觉编队等闭环实际业务验证，让跨介质机器人，即便遭遇漫天水花，依旧心中有数，看得准、找得回。
相关工作
J. Xiao, Z. Sun, K. Yao, Y. Bi, H. Zhao, R. Hu, G. Huang, X. Li*, “Continuous Ground-Truth Construction and a Recovery Policy for Air–Water Robotic Tracking”, arXiv:2610.11096.
Y. Liu, K. Yao, Z. Peng, Y. Bi, A. Li, Z. Sun, X. Li* ,"Towards Reliable Underwater Diver-Robot Interaction: Gesture Design, Interaction Logic, and Real-World Evaluation", arXiv:2609.23392.
Z. Sun, T. Tian, H. Hu, Y. He, M. Shangguan, T. Yu, Q. Yang, M. Chen, X. Wang, Y. Chen, K. Yao, Y. Zheng, Y. Qian, M. Dou, J. Xu, Q. Li, G. Wu, X. Li*, "Extreme-depth Water-related optical imaging: Conquering ultra-low illumination environments from epipelagic zone to Mariana trench," PhotoniX 7, 7 (2025).
Z. Sun, X. Li*, "Water-related optical imaging: From algorithm to hardware," Science China Technological Sciences 68(1), 1100401 (2025).
J. Shao and X. Li*, "AI Flow at the Network Edge", IEEE Network, vol. 40, no. 1, pp. 330-336, Jan. 2026, doi: 10.1109/MNET.2025.3541208.
H. An, W. Hu, S. Huang, S. Huang, R. Li, Y. Liang, J. Shao, Y. Song, Z. Wang, C. Yuan, C. Zhang, H. Zhang, W. Zhuang, X. Li*. "AI Flow: Perspectives, Scenarios, and Approaches", Vicinagearth 3, 1 (2026).
