关注下方“公众号”，获取更多开源资讯
导读
大模型已经能熟练调用数字 API：查天气、订机票、写代码、检索数据库。但具身 AI 要进入制造、维修、农业、医疗等真实场景，不能只会“调用接口”，还必须看懂扳手、刨子、万用表、注射器等物理工具，并按任务顺序使用它们。
论文提出 PhysTool-Bench，首个面向 MLLM 物理工具使用能力的评测基准，包含 2,510 个查询场景、2,678 种真实物理工具，覆盖制造、电气、农业、医疗等领域。评测结果很直接：在 13 个主流 MLLM 中，最强模型 Gemini-3.1-Pro对场景中工具的识别 F1 只有 58.68%，端到端工具选择与动作规划 Exact Match 仅 20.96%；当任务需要 6 个及以上工具时，EM 从双工具任务的 34.5%跌到 0.5%。这说明具身 AI 的瓶颈不只是视觉识别，而是把“看到的工具”映射到“该怎么完成任务”的物理功能常识。
文章信息
-
标题：Beyond APIs: Probing the Limits of MLLMs in Physical Tool Use
一、背景与挑战
LLM 在数字世界的工具调用已经相当成熟，ToolLLM、Gorilla、Stable ToolBench 等基准主要评估模型如何选择和调用 API。数字工具的特点是结构化、接口明确、输入输出稳定；模型只要理解函数描述和参数格式，就能完成相当多任务。具身 AI 面向的是另一套问题：机器人要在真实环境里看见工具、识别工具、理解工具功能，并把自然语言任务拆成可执行的物理动作序列。
现有具身评测更多关注室内导航、物体抓取、pick-and-place 或空间重排，通常把物体视为被操作的目标，而不是“帮助完成任务的工具”。
PhysTool-Bench 的关键问题是：MLLM 能否从真实场景图像和自然语言指令中，完成“看见工具 → 选对工具 → 排好顺序”的完整链路。论文把这条链路拆成两个递进任务：Task I 评估工具识别，要求模型枚举图像中所有可见工具；Task II 评估工具选择与动作规划，要求模型根据指令和视觉上下文输出必需工具及使用顺序。这个设计能区分模型“看不见”与“看见了但不会用”两类失败。
图片来源于原论文
二、PhysTool-Bench 数据集构建
PhysTool-Bench 包含 2,510 个验证后的场景，覆盖 2,678 种不同物理工具。其中 1,168 种工具作为目标工具出现，1,519 种工具只作为混淆项出现。所有工具被归入 57 个 UNSPSC segment，覆盖制造、电气作业、医疗、农业等现实领域。每个场景平均包含 8.62 个工具，其中 3.11 个是目标工具，5.51 个是干扰工具；86.9%的场景要求严格的顺序执行，其余场景评估无序工具组合。
图片来源于原论文
数据构建从一个人工整理的 310 个常用物理工具种子库开始。随后，论文用 LLM 从不同应用领域继续扩展工具，并把 Gemini-3.1-Pro 在 query 生成过程中引入的新干扰工具回流到工具库。这个“Tool Bank Extension”机制让数据集不仅包含标准答案工具，也系统加入视觉相似、功能相近、容易混淆的工具，最终扩展到 2,678 种工具。
query 生成分为目标工具组合、任务指令、干扰工具和场景图像四步。Gemini-3-Pro 先基于工具库生成 1–3 个目标工具组合：310 个单工具 query、500 个双工具 query、500 个三工具 query；GPT-4o 再为每个目标组合生成两个不同任务场景，指令只描述目标，不直接点名所需工具。每个场景还会加入 3–10 个额外工具作为干扰项，它们在视觉外观、功能或领域上与目标工具接近。图像描述平均 1,736 个字符，明确列出所有候选工具，并要求目标工具随机摆放或部分遮挡，以模拟真实环境中的杂乱场景。
论文用 Nano Banana Pro 渲染图像，并通过三道质量控制保证数据可评测。QC-I 用 Gemini-3.1-Pro 审核目标工具集合，判断每个工具是否“必要、专业、符合场景进度、支持有效执行顺序”，并在目标与干扰集合之间重新分配工具。QC-II 用程序检查所有候选工具是否在图像描述中逐字出现，避免渲染时遗漏或幻觉。QC-III 由人工检查图像，过滤物理上不合理、候选工具不清晰、目标工具被异常高亮或居中的图像。
三、任务定义与评估指标
每个评测样本是一个二元组 ，其中 是包含物理工具的场景图像， 是自然语言任务指令。设 表示图像中所有可见工具集合，其中既包括目标工具，也包括干扰工具。
Task I 是 Physical Tool Recognition。模型只看到图像 和识别提示 ，输出预测工具集合：
该任务只评估模型能否枚举图像中的细粒度物理工具，不引入具体任务指令。论文使用 Precision、Recall、F1 比较预测集合 与真实可见工具集合 。
Task II 是 Tool Selection and Action Planning。模型同时看到图像 和任务指令 ，输出有序工具序列：
真实答案定义为：
其中 是目标工具， 是执行步骤索引。相同步骤的工具可以互换，不同步骤必须满足先后顺序。预测正确需要同时满足两个条件：预测工具与 一一对应，不能漏选、错选、重复或额外加入工具；匹配工具的步骤标签必须保持非递减顺序。
Task II 使用三类指标。Exact Match（EM）最严格，要求工具集合和执行顺序完全正确；Task-Completable Rate（TCR）允许模型额外加入不必要工具，只要所有目标工具按正确顺序出现即可；Success Rate @ k（SR@k）评估预测序列前 个工具是否匹配真实前缀，用来观察模型从第几步开始出错。
四、实验结果与对比
论文在零样本设置下评测 13 个 MLLM，包括闭源模型 GPT-4o、GPT-5.2、Gemini-3.1-Pro、Qwen3-VL-Plus，以及开源模型 DeepSeek-VL2、MiniCPM、mPLUG-Owl3、Qwen3-VL-32B、OpenFlamingo、InternVL3.5、OVis 2.6、Kimi-VL-A3B 等。所有模型使用标准化 prompt，要求先分析视觉场景，再输出工具列表或工具序列。
主结果显示，工具识别本身并不容易。Task I 中，没有任何模型 F1 超过 63%；最高的是 Qwen3-VL-Plus，F1 = 62.37%。mPLUG-Owl3 和 OpenFlamingo 分别只有 27.60%和 18.37%。
|
|
|
|
|
|
|
|
|
|
|---|---|---|---|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
65.41 | 62.37 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
64.98 |
|
|
20.96 | 32.12 | 55.83 | 33.35 | 13.90 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Task II 的表现下降更明显。最强的 Gemini-3.1-Pro 端到端 EM 只有 20.96%；GPT-4o 只有 5.62%。这说明模型并非只是“看不清工具”，更大的问题在于看见之后无法判断哪些工具是任务必需的，以及它们应该如何排序。
复杂度分析进一步放大了这个问题。论文按目标工具数量拆分 Gemini-3.1-Pro 的 Task II 表现：SR@1 在不同复杂度下保持 54–57%，说明模型选第一个合适工具的能力相对稳定；但 EM 从双工具任务的 34.5%快速跌到 6 个及以上工具任务的 0.5%。多步物理规划不是线性变难，而是随着工具数量增加迅速崩塌。
图片来源于原论文
论文还用 Grounding DINO 做“感知上限”探测。给定候选工具列表作为文本 prompt，Grounding DINO 在同一场景上达到 70.53% recall，比 Gemini-3.1-Pro 在 Task I 的 57.09% recall高 13.44 个百分点。这说明图像中的视觉证据是存在的，MLLM 的失败不完全是图片难，而是模型无法稳定枚举工具，并进一步把工具功能与任务语义绑定。
人工参考实验也证明数据并非不可解。研究团队一名标注者完成 100 个分层采样 query，并按领域熟悉度 1–5 打分。在高度熟悉（confidence 5）的样本上，人类达到 75% EM、75% TCR、95% F1；跨所有熟悉度，人类仍有 38% EM、49% TCR、80.6% F1，明显高于最强 MLLM 的 21.0% EM。这说明 PhysTool-Bench 暴露的是模型能力缺口，而不是标注歧义。
真实图像验证排除了“合成图像偏差”这一疑虑。论文从网页来源构建 201 个真实图像 query，并匹配原始任务指令和目标标签。结果显示，真实图像上的 precision 下降 8.95 个百分点，但 EM 几乎不变：生成图像为 19.9%，真实图像为 19.4%。真实世界图像质量更差，有分辨率、光照、运动模糊等问题，因此 PhysTool-Bench 的合成图像评测并没有夸大难度，真实部署中的问题可能更严重。
图片来源于原论文
五、总结思考
PhysTool-Bench 把具身 AI 的一个关键短板量化了：MLLM 已经能在数字世界调用 API，但距离在真实产业现场使用物理工具仍有明显差距。数字 API 的难点主要是“理解接口并填对参数”，物理工具使用的难点则是“在杂乱视觉场景中识别工具、理解功能、排出顺序、避免相似工具干扰”。这条链路一旦进入制造、电气维修、农业作业、医疗辅助等场景，错误工具或错误顺序都可能直接导致任务失败。
对产业落地而言，PhysTool-Bench 提供了一个很实用的评测方向。制造车间、维修工位、农业设备间和医疗操作台都不是简单的物体识别场景，而是由工具、材料、工序和安全约束共同构成的任务环境。
未来的具身 AI 如果要从演示走向部署，需要在模型训练和评测中加入更强的物理工具知识、多步任务状态变化、交互式观察和专业领域规则。PhysTool-Bench 的局限也很明确：它仍是单张静态图像评测，不包含任务执行后的状态变化，也不支持多轮询问额外视角；但作为第一个系统评测 MLLM 物理工具使用的基准，它已经指出了下一阶段具身智能必须补齐的能力栈。
Coovally 团队持续关注实时 AI Agent 框架的前沿进展。如果您有技术交流或合作意向，欢迎联系我们～
© THE END
转载请联系本公众号获得授权
分享、点赞与在看，至少帮我拥有一个~