让 AI 组队打游戏，探索从个体智能到团队智能的路径 | AgentWorld Benchmark

当大模型已具备推理、编程及工具使用能力，如何将其组织起来以完成单智能体难以承担的任务，成为多智能体系统研究的核心。尽管人类团队通过分工协作能高效处理复杂工作，但由大模型驱动的智能体缺乏默认的协作机制，如共同目标理解、职责划分及动态调整能力。

AgentWorld 是一个面向 Agent 协作能力的基准测试（Benchmark）。它聚焦于核心问题：当多个具备不同角色和资源的智能体进入同一环境，能否通过持续协作完成共同任务？这不仅关乎下一代模型的能力培养，也涉及现有模型的组织优化及多智能体系统的进步评估。

图 1｜在 AgentWorld 游戏引擎中布置的十人团队展示场景，用于介绍角色分工；图中对白由展示脚本设置，并非模型自主运行记录。

多智能体带来的收益主要包括扩大探索范围、能力互补及持续配合。前两者可相对独立分工，而后者如共同开发软件系统，需处理接口变更、任务依赖和计划调整。

当工作无法完全拆分时，多智能体能否稳定创造增益？此时，团队需理解成员间的等待关系、信息时效性及局部目标与共同目标的一致性。AgentWorld 将这些相互依赖置于评测中心。

AgentWorld 将智能体置于 MMORPG 沙盒环境中，提供 100 个人工设计任务和 100 个增强变体，每项任务涉及 3 至 20 个智能体。任务涵盖材料采集、装备制作、资源分配及战斗目标等。该环境通过高层工具封装基础操作，使评测聚焦于决策与协调。智能体无法直接访问彼此内部状态，需通过消息和行动建立配合，最终结果由程序化规则验证。

以 Task 46 采矿与锻造为例，设定铁矿供应者、燃料供应者、冶炼师、锻造师和物流成员五个角色，目标是制成镐、斧头和重剑。以下为本地游戏引擎脚本演示，预置资源并调整位置以聚焦交接与制作过程，非 LLM 自主通关实录。

第一幕：明确共同目标与初始资源分布。各成员持有部分资源（矿石、煤、木材、剑柄），无一人具备完整生产条件，需连接资源与加工能力。

图 2a｜共同目标是三件装备，初始材料分散在不同成员手中。三幅特写分别展示铁矿、燃料和木材供应者，下方说明后续加工者正在等待什么。

第二幕：供应线汇合。矿石和煤转交冶炼师，木材转交锻造师。此时冶炼师可开工，但锻造师需等待铁锭。协作的关键在于区分“团队拥有材料”与“执行者拿到材料”，真实交接才能触发下一步行动。

图 2b｜矿石与煤集中到冶炼师，木材进入锻造师库存。实线标出已完成的交付，虚线标出尚待发生的铁锭交接。

第三幕：首件成品出炉，任务未止。冶炼师交付首批铁锭，锻造师制成镐。此时仅完成三分之一，后续斧头和重剑仍需铁锭及剑柄，要求冶炼师持续供给，锻造师统筹部件。

图 2c｜冶炼师与锻造师的近景，配合第一把镐的制作配方。下方显示团队还有两件产物尚未完成。

第四幕：核验共同目标。第二批铁锭交付后，锻造师完成斧头和重剑。库存核对确认三件装备齐全。有效协作体现在资源跨角色流动、加工顺序衔接及成员对整体目标的持续遵循。

图 2d｜左侧为锻造师的最终阶段特写，右侧用游戏物品素材展示三件已核验的成品。这是演示目标核验，不是正式任务评分。

此案例具体化了团队智能问题：识别依赖、正确传递资源、区分局部进展与整体完成。在软件开发或科研中，这对应模块交付、数据共享或结论验证，核心在于确保成员工作成为他人的可用输入。

论文评测了 Gemini 3 Flash、Claude Haiku 4.5、GPT-5 Mini 和 DeepSeek R1-70B 驱动的智能体团队。主任务成功率分别为 52.0%、45.0%、36.0% 和 20.0%，增强任务成功率更低。

图 3｜论文实验所用模型与配置的结果。数值反映该设置下的表现，不代表模型或多智能体架构的能力上限。

结果显示，具备强个体能力的模型在长期配合任务中仍面临困难。模型的理解、规划及工具使用能力能否转化为团队交付成果，需单独检验。

沟通量并非性能决定因素。GPT-5 Mini 平均发送 44.1 条消息，Gemini 3 Flash 仅 11.0 条，但后者成功率更高。这表明应关注沟通是否改变团队行动，而非仅统计消息数量。

未来研究方向包括：更强推理能力解决的协调问题，以及需通过分工、信息共享或反馈改善的问题。AgentWorld 为此提供了可运行的实验环境。

成功率无法解释协作过程差异。为此，论文提出因果协作有效性（Causal Collaboration Effectiveness, CCE）。它从促成任务完成的动作向前追溯，寻找对结果有贡献的行动链。

在锻造示例中，最终装备依赖铁锭，铁锭依赖矿石和煤，提醒交付的消息亦属贡献链。CCE 评估这些动作与结果的联系。

图 4｜CCE 的示意轨迹中，27 个动作里有 12 个被计为贡献动作，对应约 44.4%。此数值仅解释图中案例。

对成功任务，CCE 计算贡献动作占比；失败任务记为零。它为协作评测增加过程视角，评估交流与行动是否形成通向结果的有效联系。

贡献判断由 LLM 辅助完成。人工与 GPT-4.1 判断器在 84 项动作判断中一致率约 82%，提供了初步支持。CCE 适合与成功率、时间和成本结合使用，提供分析协作过程的语言。

从系统设计角度，协作可分为三种逐渐增加相互依赖的组织方式：

1. 并行分工：多个 Agent 分别探索，最后汇总。主要挑战是划清边界、减少重复及整合矛盾发现。

2. 有协调者的团队：主 Agent 分解任务、分配工作并调整计划。适用于高依赖任务，但受限于协调者的判断与信息处理能力。

3. 持续相互适应的团队：成员根据队友进度、需求及环境变化调整行动。体现为知道何时请求帮助、提供信息或改变分工。

AgentWorld 的长期、角色不对称和黑盒交互设置，使第三类能力有了可观察场景。值得比较的是：在相近资源预算下，哪种组织方式更易成功且易从错误中恢复。

图 5｜理解多智能体协作的三种组织方式。图示为本文的分析框架，不代表必然的技术演进顺序或论文实测排名。

对产业界而言，评估 Agent 系统需同时看模型能力和组织能力。模型升级改善推理与规划，合适的组织方式则充分利用已有能力。两者相互作用应通过对照实验和真实任务结果判断。

未来方向之一是将协作纳入学习目标。若训练反馈仅关注个体输出，模型难以学习沟通时机、理解队友需求及调整局部行动。可利用团队任务结果与过程反馈，让模型在交互中学习决策。CCE 等指标有助于分析过程，但其作为训练信号的有效性需专门验证。

另一方向是让团队组织方式随任务变化。可独立部分并行，强依赖部分协调，不确定性部分额外验证。未来系统可研究如何选择规模、分配职责及动态调整，而非遵循单一模板。

同时，评测需跟进。需检验任务变化、成员失效或多模型协同时的团队可靠性，以及在有限预算下增加成员的成本收益比。

AgentWorld 的价值在于为这条发展路径提供共同的测量起点：把协作能力转化为可执行的任务、可观察的过程和可比较的结果。随着个体模型进步，理解能力组合至关重要。团队智能的发展取决于模型、组织方式与评测反馈形成的持续改进循环。

NeurIPS 2026 | RVCBench：给语音克隆做一次“全面体检”