“穿过客厅，沿着走廊向前，在第二个门口左转，最后停在桌子旁。”
对人来说，这是一段普通的指路话；对初次进入房间的机器人来说，却需要一路识别地标、判断转弯位置，还要根据新看到的画面不断调整动作。
机器人不只要听懂指令，还得真正走到指定位置。
要训练这种能力，研究人员通常需要大量“指令—轨迹”配对数据。问题是，导航轨迹可以从模拟环境中不断获得，为每条轨迹编写可靠的自然语言指令却费时费力。
已有方法尝试让模型自动生成指令，但生成指令和执行导航往往分属不同模型；而且，当导航模型一轮轮变强时，先前批量生成的训练数据也未必跟得上它的变化。
针对这两个问题，复旦大学联合提出了RSI-Nav（Data-Centric Recursive Self-Improvement for Navigation）。它基于Qwen3.5-9B，让同一个模型既能根据语言导航，也能根据行走轨迹生成指令，再通过实际执行检查指令是否有效，并利用筛选后的数据更新自身。
在连续视觉语言导航（VLN-CE）的未见场景验证集上，RSI-Nav 的成功率达到 R2R-CE 68.6%和RxR-CE 72.4%，较自进化前分别提高15.7和17.7个百分点。
研究团队还将模型部署到DEEP Robotics M20 四足机器人，展示了真实室内外场景下的闭环导航。论文、代码、模型和数据均已公开。
图 1｜RSI-Nav 将导航、指令生成和空间理解纳入同一模型，并通过执行反馈推动数据与模型共同改进。
01
机器人会“按路线走”，
为什么还需要学会“描述路线”？
视觉语言导航（Vision-Language Navigation, VLN）通常把语言视为输入、动作视为输出：给机器人一句指令，它根据第一视角图像决定下一步如何移动。这对应VL2A（Vision-Language-to-Action）。
但同一条轨迹还可以反过来看。假设机器人已经沿走廊走过两个路口、在门边左转、最后停在沙发前，模型能不能仅根据沿途画面和动作，把这段过程描述成一条准确的导航指令？这对应VA2L（Vision-Action-to-Language）。
两项任务天然互补。要把路线说清楚，就需要理解路标、转向和空间关系；要沿语言指令走对路线，也需要理解同样的信息。
然而，在不少以往方法中，VL2A 和 VA2L 由独立的导航器、指令生成器承担，或通过不同的任务专用结构学习。语言和动作之间的联系没有得到充分利用。
另一个问题来自训练数据的更新方式。
常见的数据飞轮是：先固定一个生成器，为大批无标注轨迹补齐指令，再用合成数据训练导航模型。
等导航策略已经发生变化，新指令仍可能沿用旧模型的生成方式。这种生成监督与当前导航策略之间的差距（Policy Gap），会限制持续学习的效果。
RSI-Nav 的思路不是单纯增加指令数量，而是同时改变谁来生成指令和何时更新模型。
图 2｜已有双任务学习、离线数据飞轮与 RSI-Nav 的范式对比。RSI-Nav 不再让固定生成器一次性完成全部标注，而是由当前模型生成、验证并及时学习。
02
同一个 Qwen3.5-9B，同时
学会“走”“说”和空间判断
在 RSI-Nav 中，导航、指令生成和空间理解不再被拆成彼此独立的系统。研究团队使用同一个Qwen3.5-9B模型，通过不同任务提示组织三种学习目标，所有任务共享模型参数。
执行导航时，模型接收自然语言指令和第一视角 RGB 观察历史，预测前进、左转、右转或停止等动作；
生成指令时，它阅读一段轨迹中的视觉观测与动作序列，输出描述路线的自然语言；
处理空间理解任务时，则学习物体位置、相对方向与空间关系等信息。
这里的关键不是简单地把三个任务放在一起训练。对于 VA2L，动作信息能够帮助模型区分“从门前经过”和“在门口转弯”，从而生成更符合实际轨迹的指令；反过来，这种对路线细节的辨别，也可以成为 VL2A 学习指令跟随的有效监督。
因此，“会描述路径”不再只是额外技能，而是可以反过来帮助“按路径行动”。整个框架也不需要为指令生成与执行验证分别配备额外的大模型或任务专用输出头。
03
不把指令攒到最后：
生成一批，就亲自走一遍
在数据规模较大时，即使能够自动生成指令，另一个难题仍然存在：生成的语言究竟能不能把机器人带到正确的位置？描述看起来通顺，不代表指令真的可执行。
RSI-Nav设计了Policy-Synchronized Language-Action Dual Bootstrapping，把指令生成与导航验证接到同一条训练流程中。
首先，当前模型读取一批无标注的视觉—动作轨迹，为轨迹生成导航指令（Generate）。
接着，让同一个模型从轨迹的原始起点出发，按刚写出的指令在环境中重新导航（Execute）。
系统检查它是否接近原轨迹终点，以及行走路径是否足够高效；只有满足目标到达和路径效率条件的样本才被保留（Filter）。
随后，模型立即使用这些样本进行监督微调，更新后再处理下一批轨迹（Update）。
图 3｜Generate → Execute → Filter → Update：当前模型写出指令，再用自己的导航行为检验，筛选后立即更新。
一个容易忽略的细节是：试走轨迹主要用于验证，真正的动作监督仍采用原始参考轨迹。
例如模型试走时绕了路，即使最后抵达目标，也不会直接把这条可能带有误差的执行路线当作新的动作标签。被保留的是通过执行检验的指令，以及与其配对的原始轨迹；它们同时用于 VL2A 和 VA2L 训练，并配合空间理解数据回放。
实验中，研究团队将无标注轨迹分成较小的数据批次，每处理16,384 条轨迹便更新模型，再由更新后的模型生成下一批监督。
相比先标注完全部数据再训练，这种方式使新指令和验证过程更接近当前模型的能力状态。
这里使用的是Policy-Synchronized，而非严格意义上的 On-Policy：源轨迹仍来自离线数据池，但生成指令和执行验证会随着模型更新而刷新。
整个自改进过程采用SFT，不需要额外的强化学习优化。
最终，RSI-Nav 构建了约250 万条导航训练样本和110 万条指令生成样本。
04
自己生成的数据，
真的让导航变强了吗？
研究团队首先在 R2R-CE 和 RxR-CE 的Val-Unseen（未见场景）划分上进行了评测。
这两个基准要求模型在连续环境中，根据语言指令逐步控制动作，而不是直接从预设视点中选择下一站。
RSI-Nav 在导航决策中使用第一视角RGB 图像，不额外依赖深度、里程计或外部 waypoint predictor。
对比自进化前的 Cold Start 模型，性能变化如下：
成功率提高意味着模型更容易到达指定目的地；而 SPL 与 nDTW 的改善说明，进化后的模型不仅更容易“到终点”，在行走效率以及对指定路线的遵循上也有进步。论文正文的主实验结果及与已有方法的比较见下表。
表 1｜论文正文主表：R2R-CE、RxR-CE 的连续导航结果，以及 VSI-Bench、ScanQA、SQA3D、MindCube 四项空间理解评测。
提升来自哪里？
论文中的训练组成消融提供了更直接的证据。在相应设置下，只使用导航数据训练时，成功率为44.7%；加入 VA2L 的轨迹指令生成监督后，提升到48.8%；继续加入空间理解数据，则达到52.9%。这表明，额外的语言—动作反向监督确实能够帮助导航，而空间理解提供了进一步的增益。
生成的指令质量，又该怎样衡量？
除了文本相似度，研究团队还使用不同生成器生成的指令，分别训练相同的下游导航模型。使用 RSI-Nav 生成指令时，导航成功率达到41.3%，相比使用 SRDF 生成指令的36.8%更高；SPL 也由30.4%提升至35.1%。
这说明合成指令的价值不只在于“文字写得像不像人”，还在于能否真正提供有效的导航监督。
对于自进化过程中的更新间隔，正文消融显示：过于频繁的更新与接近整批离线更新的方式，都不如适中的分批更新效果好。
与此同时，模型在四个空间理解基准上的表现相较 Cold Start 也有小幅提升，说明导航能力的增长没有以明显牺牲空间理解为代价。
05
离开仿真环境：M20 四足机器人
完成闭环导航演示
仿真中的成功率能说明导航策略的训练效果，但真实机器人面对的是连续变化的相机画面和实际执行误差。
为检查模型在真实环境中的表现，研究团队将 RSI-Nav 部署到DEEP Robotics M20 四足机器人，并在远程NVIDIA RTX 4090上运行模型推理。
在演示中，机器人接收自然语言指令与第一视角 RGB 图像，模型根据最新观察持续输出导航动作。
展示场景包括室内障碍物绕行、穿过狭窄通道、按照多步指令移动、识别开放词汇地标，以及跨房间的长距离路线执行；团队还演示了室外环境中的导航。
例如，一条跨房间指令要求机器人从盆栽附近出发，穿过门口，沿途寻找四足机器人等地标，最后进入明亮的房间并停在洗衣机前。
它需要把语言中的多个路标与实时画面对应起来，而不是只识别最终目标的位置。
图 4｜真实场景定性演示：障碍物绕行、狭窄通道、多步指令、开放词汇地标、跨房间导航及室外场景。
这些结果展示了统一语言—动作模型在真实机器人上进行闭环导航的可行性。需要区分的是，论文目前提供的是真机定性演示，而非大规模真实环境成功率统计；面对更复杂的开放场景、环境动态变化及长期运行，仍需要进一步的系统测试。
06
比“多合成一些数据”更进一步
从已有的导航数据飞轮到 RSI-Nav，变化不只是生成数据的数量，而是让数据生成、执行反馈和模型更新紧密衔接。同一个模型一边从轨迹中学习如何描述路线，一边在仿真环境中通过动作执行验证挑选可靠的语言监督，再用新数据改进后续的导航和指令生成。
当前工作仍以离线来源的无标注轨迹作为自进化起点，真实机器人实验也主要验证了闭环执行能力。如何在更大规模的真实环境中持续积累经验、适应动态场景，并稳定地将这些经验转化为新的监督，是值得继续探索的问题。
RSI-Nav 提供了一种数据驱动的探索方向：让导航模型不只使用已有标注学习，也能借助自己的能力和执行反馈，逐步创造更有用的训练数据。
END
关注+星标，获取AI前沿进展与开源一线动态