大数跨境

Taste-Bench测试AI智能体长期决策,GPT-5.6 Sol二选一正确率不足六成

Taste-Bench测试AI智能体长期决策,GPT-5.6 Sol二选一正确率不足六成 TT的AI和科技新消息
2026-10-18
4
导读:新基准Taste-Bench将测试重点放在AI智能体执行长时间任务时的战略选择:面对不同路径,模型能否选对方向。测试中,表现最好的GPT-5.6 Sol在简单二选一问题上的正确率仍略低于60%。这项基

  新基准Taste-Bench将测试重点放在AI智能体执行长时间任务时的战略选择:面对不同路径,模型能否选对方向。测试中,表现最好的GPT-5.6 Sol在简单二选一问题上的正确率仍略低于60%。

  这项基准考察的是智能体在持续执行任务过程中如何作出选择,而非仅看它能否生成一次正确回答。它把长期任务中的路径判断作为测试对象,用二选一问题检验模型的决策能力。

  GPT-5.6 Sol的结果显示,即使是此次测试中表现最好的模型,也没有在这类选择题上取得较高正确率。测试还发现,延长思考时间并未改善表现,模型花更多时间推理,没有转化为更准确的路径选择。

  这为评估AI智能体补充了一个具体维度:除了能否执行操作,还要检验它在长时间任务中能否持续选对方向。在Taste-Bench的测试条件下,战略判断仍是表现最好的模型也会频繁出错的环节。据The Decoder报道。

【声明】内容源于网络
0
0
TT的AI和科技新消息
1234
内容 469
粉丝 0
TT的AI和科技新消息 1234
总阅读7.2k
粉丝0
内容469