一项著名的通用人工智能（AGI）测试正接近被解决，但测试创建者表示，这指向的是测试设计缺陷，而非研究中的真正突破。
2019年，AI界领军人物Francois Chollet推出了ARC-AGI基准测试（全称“通用人工智能抽象与推理语料库”）。该测试旨在评估AI系统能否在训练数据之外高效获取新技能。Chollet声称，尽管已有其他测试提出，ARC-AGI仍是衡量通向通用智能进展的唯一标准。
直到今年，表现最好的AI仅能解决ARC-AGI中略低于三分之一的任务。Chollet将此归咎于行业对大型语言模型（LLMs）的过度关注，他认为这些模型不具备真正的“推理”能力。
“LLM在泛化方面存在困难，因为它们完全依赖记忆，”他在二月份的一系列帖子中表示，“它们在面对训练数据中未包含的内容时会失效。”
正如Chollet所指出的，LLM本质上是统计机器。经过大量示例训练后，它们学习其中的模式以进行预测——例如，邮件中的“致谁”通常 precedes “敬启者”。
Chollet断言，虽然LLM可能能够记忆“推理模式”，但不太可能基于新颖情境生成“新的推理”。他在另一篇文章中认为：“如果你需要通过对模式的许多示例进行训练，即使是隐式的，才能为其学习可重用的表示，那你就是在记忆。”
为激励超越大语言模型的研究，今年六月，Chollet与Zapier联合创始人Mike Knoop发起了一项价值100万美元的竞赛，旨在构建能够击败ARC-AGI的开源人工智能。在17,789份提交作品中，最佳成绩为55.5%——比2023年最高分高出约20%，但仍未达到获胜所需的85%“人类水平”门槛。
不过，Knoop表示，这并不意味着我们距离通用人工智能（AGI）近了20%。
今天我们宣布ARC Prize 2024的获奖者。我们还发布了一份详尽的技术报告，介绍我们从此次竞赛中学到的内容（链接见下一条推文）。
最先进水平从33%提升至55.5%，这是自2020年以来我们看到的最大单年增长。该……
在一篇博客文章中，Knoop指出，许多提交给ARC-AGI的作品能够通过“暴力破解”的方式找到解决方案，这表明相当大比例的ARC-AGI任务“并不包含对通用智能有太大用处的信号”。
ARC-AGI由一系列类似谜题的问题组成，AI需要从不同颜色的方块集合中生成正确的“答案”网格。这些问题旨在迫使AI适应其未曾见过的新问题，但目前尚不清楚它们是否真正实现了这一目标。
“[ARC-AGI]自2019年以来一直未变，且并不完美，”Knoop在帖子中承认。
Francois和Knoop也面临批评，因为他们过度宣传ARC-AGI作为迈向通用人工智能的基准，尤其是鉴于目前对AGI本身的定义正受到激烈争论。最近一名OpenAI员工声称，如果将AGI定义为在大多数任务上优于大多数人类的AI，那么AGI已经“实现”。
Knoop和Chollet表示，计划发布第二代ARC-AGI基准测试以解决这些问题，并将在2025年举办比赛。Chollet在帖子中写道：“我们将继续引导研究界的努力，聚焦于我们认为AI领域最重要的未解问题，并加速通往AGI的时间表。”
修复工作可能并不容易。如果第一代ARC-AGI测试的缺点有任何指示意义，那么为AI定义智能将像对人类一样难以解决——并且具有争议性——正如它一直以来对人类那样。