新基准Taste-Bench将测试重点放在AI智能体执行长时间任务时的战略选择:面对不同路径,模型能否选对方向。测试中,表现最好的GPT-5.6 Sol在简单二选一问题上的正确率仍略低于60%。
这项基准考察的是智能体在持续执行任务过程中如何作出选择,而非仅看它能否生成一次正确回答。它把长期任务中的路径判断作为测试对象,用二选一问题检验模型的决策能力。
GPT-5.6 Sol的结果显示,即使是此次测试中表现最好的模型,也没有在这类选择题上取得较高正确率。测试还发现,延长思考时间并未改善表现,模型花更多时间推理,没有转化为更准确的路径选择。
这为评估AI智能体补充了一个具体维度:除了能否执行操作,还要检验它在长时间任务中能否持续选对方向。在Taste-Bench的测试条件下,战略判断仍是表现最好的模型也会频繁出错的环节。据The Decoder报道。

