尽管对AI安全和问责的需求日益增加，但根据一份新报告，目前的测试和基准可能仍显不足。
生成式AI模型——能够分析和输出文本、图像、音乐、视频等的模型——因其容易出错且行为通常不可预测而受到越来越多的审视。如今，从政府机构到大型科技公司的各类组织都在提出新的基准，以测试这些模型的安全性。
去年年底，初创公司Scale AI成立了一个实验室，致力于评估模型与安全准则的对齐程度。本月，NIST和英国AI安全研究所发布了旨在评估模型风险的工具。
但这些探测模型的方法和测试可能并不充分。
总部位于英国的非营利AI研究机构Ada Lovelace Institute（ALI）进行了一项研究，采访了来自学术实验室、民间社会以及生产供应商模型的专家，并审查了近期关于AI安全评估的研究。共同作者发现，虽然当前的评估方法可能有用，但它们并不全面，容易被操纵，且不一定能反映模型在现实世界中的表现。
“无论是智能手机、处方药还是汽车，我们都期望所使用的产品是安全可靠；在这些领域，产品在部署前都会经过严格测试以确保其安全性，”ALI的高级研究员兼报告共同作者Elliot Jones表示，“我们的研究旨在考察当前AI安全评估方法的局限性，评估这些评估目前的使用情况，并探讨其作为政策制定者和监管者工具的应用。”
基准测试和红队演练
该研究的共同作者首先调查了学术文献，以概述当前模型带来的危害和风险，以及现有AI模型评估的现状。随后，他们采访了16位专家，其中包括四名未具名的科技公司员工，这些公司正在开发生成式AI系统。
该研究发现，人工智能行业内部在评估模型的最佳方法和分类体系上存在严重分歧。
一些评估仅在实验室环境中测试模型与基准的对齐情况，而未考察模型对现实世界用户的潜在影响。另一些则采用为研究目的开发的测试，而非针对生产环境中的模型进行评估——然而供应商却坚持在生产环境中使用这些测试。
我们此前曾撰文讨论过AI基准存在的问题，而这项研究突出了所有这些以及其他更多问题。
研究中引用的专家指出，从基准结果推断模型性能十分困难，且尚不清楚基准是否真的能证明模型具备某项特定能力。例如，尽管模型可能在州律师资格考试中表现良好，但这并不意味着它能够解决更开放式的法律挑战。
专家们还指出了数据污染问题：如果模型在训练过程中使用了与其测试数据相同的数据集，基准结果可能会高估模型的性能。专家表示，在许多情况下，组织选择某些基准并非因为它们是最优秀的评估工具，而是出于便利性和易用性的考虑。
ALI研究员、该研究共同作者Mahi Hardalupas指出：“基准存在被开发者操纵的风险，他们可能在与模型评估相同的数据集上训练模型，这相当于在考试前看到考题；或者通过策略性地选择要使用的评估方式。此外，被评估的模型版本也很重要。微小的变化可能导致行为出现不可预测的改变，甚至可能覆盖内置的安全功能。”
ALI的研究还发现了“红队测试”（red-teaming）中存在的问题。红队测试是指指派个人或团队“攻击”模型，以识别其漏洞和缺陷。包括AI初创公司OpenAI和Anthropic在内的许多公司都使用红队测试来评估模型，但由于缺乏公认的红队测试标准，难以评估具体工作的有效性。
专家向研究的共同作者表示，找到具备必要技能和专业知识来进行红队测试的人员十分困难，而且红队测试的手动性质使其成本高昂且繁琐——这对缺乏相应资源的小型组织构成了障碍。
可能的解决方案
急于发布模型以及不愿在发布前进行可能引发问题的测试，是AI评估未能改善的主要原因。
Jones表示：“我们与一位在开发基础模型的公司工作的人交谈，他感到公司内部施加了更大的压力，要求快速发布模型，这使得人们更难抵制这种压力并认真对待评估工作。主要AI实验室发布模型的速度超过了它们自身或社会确保模型安全可靠的步伐。”
ALI研究中的一位受访者将评估模型的安全性称为一个“难以解决”的问题。那么，行业——以及监管该行业的机构——对解决方案还有希望吗？
Hardalupas认为存在前进的道路，但这需要公共部门更多地参与。
她说：“监管者和政策制定者必须明确阐述他们希望从评估中获得什么。同时，评估社区必须透明地说明当前评估的局限性和潜力。”
Hardalupas建议，政府应强制要求公众更广泛地参与评估标准的制定，并实施措施以支持第三方测试的“生态系统”，包括确保能够定期访问所需模型和数据集的项目。
Jones认为，可能需要开发“特定情境”的评估，这些评估不应仅仅测试模型对提示词的反应，而应考察模型可能影响的用户类型（例如具有特定背景、性别或族裔的人），以及攻击对模型的攻击可能如何绕过安全措施。
他补充道：“这将需要对评估的基础科学进行投资，以开发更稳健且可重复的评估方法，这些方法应基于对AI模型运作方式的理解。”
但可能永远无法保证模型是安全的。
Hardalupas说：“正如其他人所指出的那样，‘安全性’并非模型本身的属性。确定一个模型是否‘安全’需要了解其使用的情境、它被出售或提供给谁使用，以及现有的安全措施是否充分且稳健以降低相关风险。基础模型的评估可以起到探索性作用，以识别潜在风险，但它们不能保证模型是安全的，更不用说‘完全安全’了。我们的许多受访者都同意，评估无法证明模型是安全的，只能表明模型是不安全的。”