宝可梦难？研究人员称《超级马里奥兄弟》才是AI的艰难基准测试
加州大学圣地亚哥分校Hao AI Lab于周五将AI投入实时版《超级马里奥兄弟》。结果显示，Anthropic Claude 3.7表现最佳，Claude 3.5次之；Google Gemini 1.5 Pro与OpenAI GPT-4o则表现挣扎。
需澄清的是，该测试并非1985年原版游戏，而是在模拟器中运行并集成GamingAgent框架，以便AI控制马里奥。
GamingAgent向AI提供“遇障/敌向左移或跳跃躲避”等基本指令及游戏截图，AI再生成Python代码输入以控制角色。
郝表示，该游戏迫使模型学习复杂动作规划与策略制定。有趣的是，实验室发现如OpenAI o1等通过逐步思考得出方案的推理模型，表现反而不如“非推理”模型，尽管后者在多数基准测试中通常更强。
研究人员指出，推理模型难以驾驭此类实时游戏的主因在于决策耗时（通常数秒）。而在《超级马里奥兄弟》中时机至关重要，一秒之差即决定安全过关还是坠亡。
几十年来游戏一直被用于AI基准测试，但部分专家质疑将AI游戏技能与技术进步挂钩是否明智。与现实世界不同，游戏环境相对抽象简单，且能为AI训练提供理论上的无限数据。
近期引人注目的游戏基准测试指向了OpenAI研究科学家兼创始成员Andrej Karpathy所称的“评估危机”。
他在X平台发帖写道：“我现在真的不知道应该关注哪些[AI]指标……简而言之，我真的不知道这些模型目前到底有多好。”
至少，我们可以观看AI玩马里奥。