前谷歌工程师、知名AI研究人员弗朗索瓦·肖莱（François Chollet）正联合创立一家非营利组织，旨在开发能够探测人工智能是否具备“人类水平”智能的基准测试。
该非营利组织名为ARC Prize Foundation，将由格雷格·卡姆拉特（Greg Kamrat）领导。卡姆拉特曾任Salesforce工程总监，也是AI产品工作室Leverage创始人，将担任总裁及董事会成员。筹款活动计划于1月下旬启动。
“我们正逐渐成长为一家正式的非营利基金会，作为通向通用人工智能（AGI）的有益指引，”肖莱在该组织官网发布的帖子中写道，“我们正试图通过缩小[基本人类能力]差距来激励进步。”
ARC-AGI：评估AI泛化能力的核心基准
ARC Prize Foundation将在ARC-AGI基础上进行扩展。ARC-AGI由肖莱开发，用于评估AI系统能否在训练数据之外高效获取新技能。测试包含类似谜题的问题，要求AI从不同颜色方块集合中生成正确的“答案”网格，旨在迫使AI适应从未见过的新问题。
肖莱于2019年推出ARC-AGI（全称“通用人工智能抽象与推理语料库”）。尽管许多AI系统在数学奥林匹克竞赛或博士级问题中表现优异，但在今年之前，表现最好的模型仅能解决略低于三分之一的ARC-AGI题目。
“与大多数前沿AI基准测试不同，我们并非试图用超人类的考试题目来衡量AI风险，”肖莱表示，“未来版本的ARC-AGI基准测试将专注于将[人类能力]差距缩小至零。”
o3模型的突破与局限
去年6月，肖莱与Zapier联合创始人迈克·努普（Mike Knoop）发起竞赛，旨在构建超越ARC-AGI的AI。OpenAI尚未发布的o3模型是首个达到合格分数的模型，但需消耗极其庞大的计算资源。
肖莱明确指出ARC-AGI存在缺陷——许多模型可通过暴力破解获得高分，且他不认为o3具备人类水平智能。他在去年12月的声明中表示：“早期数据点表明，即将推出的基准测试继任者仍将对o3构成重大挑战。即使在高算力下，其得分也可能降至30%以下，而一个聪明的人无需训练仍能获得超过95%的分数。当你发现设计那些对普通人简单但对AI困难的任务变得完全不可能时，你就知道通用人工智能已经到来了。”
努普透露，计划在第一季度推出第二代ARC-AGI基准测试及配套新竞赛，该组织还将着手设计第三版。
行业合作与未来规划
目前尚不清楚ARC Prize基金会如何应对关于“过度宣传ARC-AGI作为AGI基准”的批评。当前AGI定义争议激烈，近期有OpenAI员工声称若以“在大多数任务上优于大多数人类”为标准，AGI已实现。
值得注意的是，OpenAI CEO山姆·阿尔特曼去年12月曾表示打算与ARC-AGI团队合作构建未来基准测试，但肖莱在本次公告中未提及潜在合作。
不过，ARC Prize基金会表示将建立“学术网络”以推动AGI进展和评估，并组建“前沿AI实验室合作伙伴联盟”，协作制定行业AGI基准测试。