AAAI 2026 Oral | 会思考的LENS：基于统一强化推理的分割大模型

• • 论文标题：LENS: Learning to Segment Anything with Unified Reinforced Reasoning
• • 论文链接：https://arxiv.org/abs/2508.14153
• • 代码链接：https://github.com/hustvl/LENS

在这里介绍一下我们AAAI荣获Oral的工作，“会思考的分割大模型LENS”。有幸在这次AAAI 2026得到了审稿人们一致正面的评价，并被AC和PC一致同意推荐为Oral论文。

在这个工作中，我们研究了分割大模型领域的一大一小两个关键问题，大问题就是老生常谈的“泛化能力”，传统分割大模型对未见过的提示和领域的泛化能力往往有限；小问题则是隐藏的“信息瓶颈”，此前的分割大模型从“大脑思考”（MLLM）到“分割解码”（SAM）之间往往只通过单一的分割Token传递信息，存在隐形的“信息输送瓶颈”。

此前有同期的优秀工作Seg-Zero，它通过思考后，给出框和点，交由现成的（off-the-shelf）SAM进行分割。这样的做法有一个缺点就是误差的传递，如果思考后得到的框和点就有误差，那么SAM一定无法给出正确的分割。

为了解决这些挑战，我们提出LENS用端到端的方式联合优化思考推理过程和最终分割结果。我们采用 MLLM（如 Qwen2.5-VL-3B-Instruct）作为推理模型，并使用上下文模块（Context Module）来衔接 MLLM 和分割模型 SAM。该上下文模块由多个上下文查询（Context Queries）和一个连接器（Connector）组成，它能将CoT推理轨迹和边界框转换为上下文信息（Context Information），以指导分割掩码生成。

LENS框架同时在“思考推理”端也做出了改进，我们基于Group Relative Policy Optimization（GRPO）方法构建了统一强化学习奖励机制（Unified Rewards Scheme）。该奖励机制是多维度的，同时监督以下三个层级的线索：

1. 1. 格式奖励（Format Reward）：确保 MLLM 的输出（包括推理过程和定位结果）遵循预期的结构和格式一致性。
2. 2. 边界框 IoU 奖励（Box IoU Reward）：衡量预测边界框与真实边界框之间的定位准确性。
3. 3. 分割掩码 IoU 奖励（Segment IoU Reward）：评估像素级分割掩码的质量。

通过我们提出的联合优化（将统一的 GRPO 目标与监督分割损失相结合），LENS能够从奖励驱动的推理改进和直接的分割监督中同时受益。值得一提的是，LENS的端到端特性解决了定位错误（Grounding Error）向下游传播的问题，哪怕有些情况定位框是错的，强大的上下文查询（Context Query）也能带领分割模型走向正确。

核心结果方面，LENS取得了文本提示分割任务的最先进性能（SoTA）：LENS在RefCOCO系列的基准测试中取得了 81.2%的平均cIoU，达到了世界最高水平。在GroundingSuite-Eval这类更具挑战性的零样本基准测试中，LENS展现出卓越的域外泛化能力，cIoU 达到78.3%，超越第二优方法接近10%。

这些成果证明了LENS这类统一强化学习奖励驱动的CoT推理能够显著增强文本提示分割能力。我们相信LENS为强化学习与视觉分割的无缝集成提供了新的思路，并将推动更通用、更稳健的视觉-语言系统的未来研究。我们期待在 AAAI 2026 与各位学术界的朋友们交流。