数月来，人工智能巨头们制定了特殊的审核项目和严格的护栏机制，以限制恶意黑客使用其模型。但这些限制如今却阻碍了合法网络防御者以及进攻性网络安全研究人员的工作。
6月，美国政府<对Anthropic备受瞩目的AI模型Mythos和Fable>施加了出口管制限制。这一举措至少部分源于一份报告，该报告声称有可能绕过旨在防止用户利用这些模型构建和执行恶意网络攻击的防护机制。
无论此次事件是否真的出于对越狱的恐惧，事实是Anthropic反复将Mythos宣传为某种末日级网络机器，只能提供给经过严格审查的用户，并且即便如此也要配备严格的防护机制。（针对Fable 5和Mythos 5的出口管制随后已被解除；Fable 5已于7月1日恢复通用访问权限；Mythos 5则作为政府审查流程的一部分，仅重新向经过审查的美国组织开放。）
这种把关做法并非Mythos独有。Anthropic通过其其他模型以及OpenAI都提供了网络安全研究人员可以申请的项目，以获得审核资格——如果获批——即可访问受较少网络安全限制的模型：OpenAI的“网络安全可信访问计划”和Anthropic的“网络安全验证计划”。
这些护栏机制受到了广泛批评，尤其是那些致力于在系统中发现未知漏洞并在犯罪分子之前 devising 利用方法的研究人员。
在最近一次参加网络安全播客节目时，知名安全研究员Mark Dowd表示：“我不太舒服的是，这些大型随机公司正在就什么是安全的、什么是不安全的做出武断的安全决策。”
Dowd花费数十年时间发现并出售‘零日漏洞’——即此前未知的软件缺陷及其利用方式——给西方政府，而不是向软件制造商报告以便进行修补。政府愿意为漏洞支付高价，正是因为这些漏洞保持开放状态，这对情报行动非常有用。
Dowd 承认他的工作可能会让他产生偏见，但他并非孤身一人。几位从事进攻性网络安全工作的人——他们主动探测系统中的弱点——向 TechCrunch 描述了他们如何使用 AI 工具并应对这些护栏机制。
安全咨询巨头 NCC Group 的首席科学家 Chris Anley 表示，要求 AI 模型尝试利用某个漏洞是确认该漏洞真实存在且值得修复的关键步骤。但如果护栏机制导致模型直接拒绝回答该问题，那么这种护栏机制就会损害防御者的利益，他说。
“这就是整个攻防对抗和护栏机制问题的核心所在，因为‘修复这段代码’作为提示词，既是防御的必要机制，也是查找代码库中关键漏洞的路线图，”Anley 说。“因此，同一工具既是进攻工具也是防御工具，两者无法真正分离。”
他继续说道：“这就像一把锤子。没有锤子你就盖不了房子。它肯定是一种工具，但同时也无可避免地是一种武器。”
当他和同事遇到此类障碍时，他们有时会退而求其次，使用没有任何护栏机制的开源 AI 模型。
Crowdfense 的首席技术官 Paolo Stagno 同意 Dowd 的观点。Crowdfense 是一家知名公司，负责开发、收购并向政府机构出售未知漏洞。Stagno 表示，AI 公司通过其审核项目和护栏机制，“本质上将客户视为需要保姆照看的儿童”。
Stagno 表示，他和同事们确实会使用前沿模型，但仅用于逆向工程。他说，他们避免使用 AI 来帮助发现漏洞或构建利用程序，因为将这些工作输入到基于云端的模型中，可能会导致敏感漏洞数据泄露，或被吸收进未来的训练运行中。对于这一步骤，他说，他们使用在本地运行的开源模型，因为它们不依赖将数据共享到模型外部。
朱塞佩·卡利（Giuseppe Cali）是一名安全研究员，专门发现零日漏洞并开发利用工具。他表示，护栏机制并未阻碍他的工作。这是因为他在进行攻击性工作时并不使用人工智能；相反，他利用人工智能进行初步逆向工程，以理解所分析的代码，并构建辅助工具。他说，在这些方面，AI工具可以加快进程，让他专注于发现漏洞。
卡利说：“我仍然希望亲自掌握实际的漏洞发现和武器化过程，即使明天所有护栏都被解除，这一点也不会改变。‘我对自己的漏洞视若珍宝，而且我太喜欢这项游戏了，不会让模型替我玩。’”
一位智能手机零部件制造商的研究人员表示，由于雇主未加入Anthropic的CVP计划，其工具在发现漏洞方面几乎无用，因为护栏过于严格。该研究人员要求匿名，因为他未被授权接受媒体采访。
该人士说：“一旦它察觉到我们在从事任何与安全相关的工作，它就会停止运行，变得无法使用。”
Chris Thompson是网络安全公司RemoteThreat的首席执行官，也是Offensive AI Con（一个专注于攻击性安全和人工智能的活动）的创始人。他表示，根据他使用前沿AI模型的经验，护栏机制可能不一致，且每天的表现都不同。即使在Anthropic和OpenAI审核较为宽松的验证项目内，情况也是如此。
Thompson说：“我认为实际影响是，你花大量时间与模型协商，而不是专注于核心的安全工作。你本应分析漏洞并推理其可利用性，但现在却不得不试图找出为何结果不一致，或为何模型对输出进行了过度清理。”
Thompson表示，因此，研究人员要么依赖，要么被推向中国的开源模型，如GLM——这些模型可免费下载，可在本地运行，无需审核或使用限制。
他说：“这些负责任的研究人员正被从受美国监管的系统推向外资拥有的系统。我认为，设置这些护栏弊大于利。”
Thompson呼吁，与其进一步收紧限制，不如让AI前沿实验室开放其项目，提供负责任的访问权限，并对滥用其工具的行为追究责任。否则，他认为，防御方将在这场AI竞赛中落败。
Thompson说：“一场大风暴即将来临。我们将迎来前所未有、以极快速度和规模发生的攻击浪潮。但那些正努力做出改变的同等水平的安全咨询公司和合法研究人员，此刻正受到压制。”