在最近的一次公开亮相中，OpenAI首席执行官Sam Altman表示，他观察到人工智能的“智商”在过去几年里迅速提升。
“粗略地说，我感觉——这并不科学准确，只是一种直觉或精神层面的回答——我们每年都在推进一个标准差的智商水平。”Altman说。
Altman并非第一个使用智商——一种衡量人类智力的指标——作为评估人工智能进展基准的人。人工智能领域的意见领袖在社交媒体上对模型进行了智商测试并排名结果。
但许多专家表示，智商测试是衡量模型能力的糟糕指标——而且具有误导性。
“使用与人类相同的标准来描述能力或进步可能非常诱人，但这就像拿苹果和橙子做比较一样荒谬。”牛津大学研究科技与监管的研究员Sandra Wachter对TechCrunch表示。
在新闻发布会上的发言中，Altman将智商等同于智力。然而，智商测试是相对而非客观的某些类型智力的衡量标准。有一些共识认为智商测试是逻辑和抽象推理能力的合理检验手段，但它无法衡量实践智力——即知道如何让事物运作的能力——而且它充其量只是一张快照。
Wachter指出：“智商是一种用来衡量人类能力的工具——尽管存在争议——它是基于科学家对人类智力形态的理解而设计的。”“但你不能用同样的标准来描述人工智能的能力。汽车比人类跑得快，潜艇更擅长潜水。但这并不意味着汽车或潜艇超越了人类智力。你将某一项性能表现与复杂得多的人类智力混为一谈了。”
要在智商测试中脱颖而出，而这类测试的起源一些历史学家追溯至优生学——一种被广泛驳斥的科学理论，认为人们可以通过选择性育种得到改善——考生必须具备强大的工作记忆和对西方文化规范的了解。这自然引发了偏见的可能性，因此一位心理学家曾称智商测试为智力方面“在意识形态上可被腐蚀的机械模型”。
华盛顿大学研究伦理人工智能的博士生Os Keyes认为，一个模型在智商测试中表现良好，更多地反映了该测试本身的缺陷，而非模型的实际表现。
Keyes说：“如果你拥有近乎无限的记忆力和耐心，这些测试很容易被操纵。”“智商测试是衡量认知、意识和智力的极其有限的方式，这一点早在数字计算机发明之前我们就已经知道了。”
考虑到模型拥有海量的记忆和内部化知识，它们在智商测试中很可能也占据不公平的优势。通常，模型是在公开的网络数据上进行训练的，而网络上充斥着来自智商测试的例题。
伦敦国王学院专注于人工智能的研究员Mike Cook说：“测试往往重复非常相似的模式——提高智商的一个相当可靠的方法是练习做智商测试，而这正是每个[模型]所做的事情。”“当我学习新东西时，我不会像AI那样以完美的清晰度将信息输入我的大脑一百万次，我也无法在没有噪音或信号损失的情况下处理这些信息。”
Cook补充道，归根结底，尽管存在偏见，智商测试是为人类设计的——旨在评估一般性的问题解决能力。对于以一种与人类截然不同的方式解决问题的技术来说，这些测试是不合适的。
Cook说：“乌鸦或许能使用工具从盒子里取出奖励，但这并不意味着它能被哈佛大学录取。”“当我解决数学问题时，我的大脑还要应对能否正确阅读页面上的文字、不去想回家路上需要买的杂货，或者房间现在是否太冷等问题。换句话说，人类大脑在解决问题——无论是智商测试还是其他任何问题——时，要应对更多的干扰因素，并且它们得到的帮助远少于[人工智能]。”
这一切都指向了需要更好的AI测试，AI Now研究所的首席AI科学家Heidy Khlaaf告诉TechCrunch。
Khlaaf表示：“在计算历史中，我们之所以没有将计算能力与人类能力进行精确比较，正是因为计算的本质意味着系统始终能够完成已经超越人类能力的任务。‘直接将系统性能与人类能力进行比较’这一观念是近年来的现象，且备受争议；围绕这一争议的焦点在于，为评估AI系统而不断创建、持续扩展且基准标准不断变化的评测体系。”