易术研究 | 多游戏通用具身智能体的架构与能力分析

SIMA 2 的整体架构体现了感知、规划、动作和解释的闭环整合。作为具身智能体，SIMA 2 像真人玩家一样操作游戏：通过“视觉”观测屏幕画面，使用虚拟键盘鼠标执行操作，而不直接调用游戏内置接口。在此基础上，SIMA 2 将大型语言模型嵌入智能体核心，赋予了系统强大的高层语义理解与推理能力。具体而言，SIMA 2 内部包含一个精简版的 Gemini 2.5 flash‑lite 模型，作为智能体的大脑。这个 Gemini 模型 能够处理多模态输入（文本、图像等）并进行复杂的推理规划，然后输出高层指令给低层控制模块。

闭环感知与行动：SIMA 2 的工作流程可以概括为以下循环：首先，感知模块从游戏环境获取当前状态（如屏幕图像、游戏HUD信息等）；接着，嵌入的 Gemini 大模型结合环境状态和用户指令进行理解和规划，产出下一步行动计划；然后，控制模块将计划转化为具体的游戏按键和鼠标操作；最后，SIMA 2 可以通过语言生成模块向用户解释其意图和行为，再进入下一轮感知-决策。这一架构实现了“感知 → 推理/计划 → 行动 → 解释”的闭环。例如，面对一条复杂指令，Gemini 模型会在内部推演解决方案并生成行动序列，SIMA 2 随后逐步执行并实时描述自己的思考过程。这种将强大的语言模型与低层游戏操作代理融合的设计，使 SIMA 2 能理解用户的高层目标、进行连贯的多步推理，并将推理结果映射为灵巧的游戏内动作。与传统的游戏 AI 机器人（通常通过手工规则或强化学习策略实现）不同，SIMA 2 在其核心引入通用大模型，打通了语言理解与具身控制的鸿沟，实现了从抽象目标到具体操作的端到端映射。

该体系结构的另一个亮点是自解释与对话能力。由于内置了语言模型，SIMA 2 不仅执行命令，还能以自然语言形式回答用户的问题、解释自己的决策过程。例如，当用户询问“SIMA，你接下来打算做什么？”，智能体能够描述自己的计划步骤和理由，例如“我打算先收集木材来制作工具，因为这是完成当前任务所需的第一步”。这种自解释特性让用户感觉更像是在与一个会思考的游戏伙伴协作，而非单纯给AI下指令。总的来说，SIMA 2 的架构通过融合视觉感知、大模型推理、行动执行和语言交流，打造了一个在交互式 3D 环境中闭环运行的通用智能体。

多模态输入支持：相较前代，SIMA 2 显著扩展了指令输入的模态范围，能够理解文本、语音、手绘草图、表情符号等多种形式的用户指令。首先，自然语言文本仍是主要的指令形式，SIMA 2 不仅支持英文，还可以理解多种人类语言，用户甚至可以用母语与其交互。同时，SIMA 2 支持语音指令——用户可以通过语音与之交流，背后的语音识别接口会将口语转换为文本供 Gemini 模型理解。更引人注目的是视觉类指令的加入：用户可以在屏幕上手绘草图或示意图，SIMA 2 能够解析这些图形所传达的意图。例如，玩家在地图上勾画一条路径或圈出一个目标地点，智能体可以据此推断任务目标位置或行动路线。最后，SIMA 2 还支持通过emoji 表情符号进行指令传达。研究人员展示了这样一个案例：用户发送了一棵树的表情符号“🌳”以及斧头的表情“🪓”，SIMA 2 正确地将其解读为“去砍树”的指令，然后在游戏中找到一棵树并执行砍伐动作。

复杂指令的理解：借助 Gemini 模型的推理能力，SIMA 2 对复杂或模糊指令的理解也远胜以往。它可以处理包含逻辑推理的描述性命令。例如，在测试中研究者让智能体“走向颜色像熟透番茄的房子”，SIMA 2 先通过常识推理出“熟透的番茄是红色”，继而在环境中寻找红色的房子并朝其移动。这种对抽象概念的理解与推理，在 SIMA 1 中是无法实现的。另外，SIMA 2 能够执行多步复合指令，如“捡起钥匙然后打开离你最近的门，再击败里面的守卫”，它会将指令拆解成子任务，并按顺序完成，每一步都有条不紊。如果在执行过程中用户追加新的口头指令或提问，SIMA 2 可以动态响应并调整计划，与用户进行类似人类队友间的协作对话。多模态交互的引入使人机指令交流更加自然、高效——即使是新手玩家，也可以通过画图或使用表情直观地告诉 AI 要做什么，而 SIMA 2 都能正确理解并付诸行动。这种全方位的指令理解能力，使得 SIMA 2 真正成为一个“可指导的”通用代理（instructable agent），在丰富的虚拟世界中与人类并肩作战或协作。