Anthropic 使用《宝可梦》评测最新 AI 模型
Anthropic 在周一发布的博客文章中透露，其最新模型 Claude 3.7 Sonnet 已成功测试 Game Boy 经典游戏《宝可梦红》。该模型配备了基础记忆、屏幕像素输入及按键导航功能调用，实现了连续游玩。
Claude 3.7 Sonnet 具备独特的“扩展思考”能力，与 OpenAI o3-mini 和 DeepSeek R1 类似，可通过增加计算资源和推理时间解决复杂问题。这一特性在《宝可梦红》中表现显著：相比连真新镇都无法走出的旧版 Claude 3.0 Sonnet，新版模型成功击败三位道馆馆主并赢得徽章。
目前尚不清楚达成里程碑的具体算力消耗及各阶段耗时。Anthropic 仅表示，模型在执行 35,000 次操作后抵达最终道馆馆主小次郎处。
上周研究人员试用 Claude 3.7 Sonnet 早期预览版，结果令人瞩目：数小时内击败 Brock，几天后战胜 Misty，这是旧模型难以企及的进步，证明扩展思考功能效果显著。
游戏作为 AI 基准测试的悠久历史
《宝可梦红》虽更像玩具式测试而非严格基准，但利用游戏评估 AI 已有悠久传统。近几个月来，涌现出众多应用与平台，用于测试模型在从《街头霸王》到《你画我猜》等各类游戏中的表现。