大数跨境

全球首个Agentic扩散模型来了:边行动边纠错,128K上下文追平自回归

全球首个Agentic扩散模型来了:边行动边纠错,128K上下文追平自回归 量子位
2026-07-28
7
导读:扩散模型首次打通长程Agent任务

Agent 赛道长期由自回归(AR)模型主导,但这一格局正在被打破。蚂蚁集团 inclusionAI 团队最新开源的LLaDA2.2,标志着扩散模型首次成功应用于智能体长程任务。

作为一款千亿参数的 MoE 扩散语言模型,LLaDA2.2 原生支持 128K 上下文,是全球首个大规模 Agentic 扩散模型。它不仅具备自回归模型的能力,更通过并行生成、自我增删与动态修正机制,解决了传统扩散模型在 Agent 场景中“一步错步步错”的痛点。

从 LLaDA2.0 的规模化验证,到 2.1 版本的边写边改,再到 2.2 版本的智能体觉醒,蚂蚁团队在半年内完成了扩散架构从生成工具到行动架构的关键跃迁。

扩散模型破局自回归垄断

自回归模型凭借严格的序列因果性,在多轮对话和工具调用等 Agent 任务中占据统治地位。然而,其逐 Token 生成的特性导致推理速度较慢。传统扩散模型虽能并行处理提升速度,却因缺乏严格的序列约束,容易在复杂的 Agent 执行流程中产生累积错误,导致目标漂移。

LLaDA2.2 的出现旨在攻克这一难关。LLaDA2.0 率先证明了扩散模型结合 MoE 架构的工程落地能力;LLaDA2.1 引入 Token-to-Token 编辑机制,实现了初步的纠错功能;而 LLaDA2.2 则进一步实现了根本性的结构调整,支持在行动过程中实时纠错。

三大核心技术突破

LLaDA2.2 通过整合三项关键技术,赋予了扩散模型胜任复杂 Agent 任务的能力。

引入 Levenshtein 编辑范式,实现自改自生

针对传统扩散模型块并行解码的结构刚性问题,LLaDA2.2 采用 Levenshtein 编辑范式,支持块内的保留(KEEP)、替换(SUBSTITUTE)、删除(DELETE)和插入(INSERT)四种原子操作。模型通过最长公共子序列(LCS)对齐草稿与目标序列,动态生成编辑标签。

这意味着模型能在去噪过程中直接切除冗余内容或在指定位置补充关键信息。实验数据显示,仅开启此项功能,模型在 SWE-bench Verified 基准上的得分就从 35.8 提升至 44.4,绝对提升达 8.6 个百分点。

构建 L-EBPO 强化学习机制,感知环境反馈

为解决长程交互中的“模型崩溃”问题,LLaDA2.2 提出了 L-EBPO(Levenshtein Editing Evidence Lower Bound Policy Optimization)。该机制将多轮交互中的编辑决策建模为强化学习问题,使模型能根据环境反馈自主决定何时删除错误或填补缺失。

如果说编辑范式赋予了模型“双手”,L-EBPO 则为其装上了“眼睛”,使其能实时监测生成质量并调整策略,避免错误在后续规划中被放大。

BlockRouting 机制,支撑 128K 长上下文工程落地

面对 Agent 任务对超长上下文的需求,LLaDA2.2 通过渐进式训练将原生上下文窗口扩展至 128K。为解决由此带来的高昂推理成本,模型创新性地采用了 BlockRouting 机制。

该机制先在 Block 层面筛选固定专家池,再在内部执行 Token 级路由,大幅降低了 HBM 流量与通信开销。这使得 128K 原生上下文与高效推理得以兼得,具备了真正的工程部署价值。

性能比肩顶尖自回归模型

在七大 Agent 基准测试中,LLaDA2.2-flash 与顶尖自回归模型 Ling-2.6-flash 的平均分差距缩小至 2 分以内(53.83 vs 55.74),处于相近水平。特别是在τ²-Bench、PinchBench 等交互式任务上,LLaDA2.2 已实现反超。

效率方面,LLaDA2.2-flash 的 BF16 平均吞吐量是 Ling-2.6-flash 的 1.64 倍,量化至 FP8 后还可额外提升 18.6%。凭借接近自回归模型的能力与更优的速度,LLaDA2.2 证明了扩散模型已成为 Agent 领域不可忽视的力量。

迈向自回归与扩散双轨并行时代

LLaDA2.2 的价值不仅在于性能提升,更在于揭示了未来 Agent 架构的发展方向:纯自回归模型并非唯一选项。

在严格结构化输出和复杂代码生成场景中,自回归模型仍具优势;而在对响应延迟敏感、需快速探索或端侧部署的场景中,扩散模型的并行生成与低成本特性更具竞争力。

未来的 Agent 系统将走向“双轨并行”:在需要强因果流程时由自回归模型稳步推进,在需要快速迭代时由扩散模型介入。两种机制融合互补,将根据任务阶段动态切换,共同推动智能体技术在物理世界的广泛应用。

技术报告及代码已开源:

  • GitHub: https://github.com/inclusionAI/LLaDA2.X
  • HuggingFace: https://huggingface.co/inclusionAI/LLaDA2.2-flash
【声明】内容源于网络
0
0
量子位
各类跨境出海行业相关资讯
内容 16366
粉丝 1
量子位 各类跨境出海行业相关资讯
总阅读366.4k
粉丝1
内容16.4k