【AAAI 2026经典回顾】MoLe-VLA：让VLA模型”动脑”决定用哪层——动态层跳过的Mixture-of-Layers架构让机器人推理快5.6倍

MoLe-VLA（Mixture-of-Layers Vision-Language-Action）提出了一个创新的解决框架，由三个核心技术模块组成：

【对应论文图2】

MoLe-VLA的整体架构图，展示了STAR路由器位于LLM输入阶段，根据视觉和语言输入动态决定跳过哪些层；CogKD则在训练阶段通过认知token进行自知识蒸馏。

2.1 MoLe：从Mixture-of-Experts到Mixture-of-Layers

传统MoE（Mixture-of-Experts）在水平方向上做稀疏化——在一个Transformer层内维护多个前馈网络（FFN）专家，每次只激活其中少数几个。MoLe则将这一概念垂直扩展：将整个LLM的每一层视为一个独立的”专家”，由路由器决定哪些层被激活、哪些被跳过。

形式上，给定一个K层的MLLM π，MoLe路由器处理输入嵌入，生成二值门控向量，其中

。只有top-k个G_k被设为1，对应层被执行：

当G_k = 0时，第k层被完全跳过，输出直接继承前一层的隐藏状态。这种设计避免了传统MoE中token被分配到不同专家导致的感知不一致问题（token-wise inconsistency），因为MoLe是对整个输入特征做 holistic 的层选择。

与Mixture-of-Depth (MoD) 的区别：MoD在同一个层内将不同token分配给不同计算路径（标准块或残差连接），可能导致不同token在不同深度被处理，引发感知层级不一致。MoLe则是对整个层做”全有或全无”的选择，保证了所有token在每一层获得一致的处理深度。

【对应论文图1(C)】

MoLe的工作方式类比大脑的”深度-并行平衡”机制——大脑根据任务需求动态激活不同的皮层-皮层下回路，MoLe则根据输入动态选择最优的前向传播路径。

2.2 STAR：为机器人任务量身定制的空间-时序感知路由器

传统MoE/MoD路由器通常只有一个简单的线性层，这种设计在通用NLP任务中够用，但在机器人操作场景中遇到了根本性局限：机器人输入具有强烈的空间结构（视觉图像）和时序依赖（语言指令中的动作序列描述），简单线性路由无法捕捉这些关键信息。

STAR路由器通过两个并行分支解决这个问题：

空间路由分支：处理视觉特征，通过两层MLP捕获空间结构信息：

时序路由分支：处理文本特征，使用Transformer + 平均池化提取时序依赖：

动态温度调制：STAR还引入了一个从文本[CLS]token计算的温度因子α ∈ [0,1]，通过sigmoid函数生成，用于调制路由的锐度：

最终的专家门控权重通过Gumbel-Softmax生成，确保可微分选择：

G = τ(α · (S + T), τ = 1.0)

STAR的计算效率：相比标准MoE框架的O(N_e · d) FLOPs，STAR仅需FLOPs。由于在实际机器人VLA中，这个额外开销微乎其微。

【对应论文算法1】

MoLe-VLA的完整伪代码，清晰展示了STAR如何在前向传播中动态决定层跳过模式。

2.3 CogKD：用自知识蒸馏弥补”认知损失”

跳过层不可避免地带来信息损失——深层编码的关键语义信息（对下游机器人任务至关重要的部分）可能随着层的跳过而缺失。MoLe-VLA通过认知自知识蒸馏（CogKD）来补偿这一损失。

CogKD的核心设计：

• 教师-学生架构：原始全层模型作为教师，MoLe层跳过模型作为学生。教师通过EMA（指数移动平均）更新：

• 可学习认知token（Cognition Token）：在输入层插入一个可学习的嵌入，它整合视觉token和语言指令，生成代表”任务需求理解”的紧凑表示。教师和学生各自有自己的认知token：。

• Tokens of Interest (ToIs)：通过计算认知token与学生token之间的相似度，识别出对任务最关键的token：

使用教师和学生认知token的ToIs交集来确定每个token的蒸馏程度：

• 加权蒸馏损失：只有同时被教师和学生认为重要的token才参与蒸馏：

• Reserve KL损失：通过Reverse KL散度增强分布约束，确保学生的认知分布不会偏离教师太远：

最终的CogKD损失为两者的加权组合：

【对应论文图3】

CogKD的详细示意图，展示了认知token如何整合视觉和语言信息，以及ToIs如何指导自适应蒸馏。