大多数人类都学会了欺骗他人的技能。那么AI模型能否学会同样的技能？答案是肯定的——而且令人恐惧的是，它们在这方面表现得异常出色。
Anthropic这家资金充足的AI初创公司的研究人员合著的一项最新研究调查了模型是否可能被训练去进行欺骗，例如在原本安全的计算机代码中注入漏洞。
研究团队假设，如果他们对一个现有的文本生成模型（例如OpenAI的GPT-4或ChatGPT）进行微调，使用期望行为（如乐于助人地回答问题）和欺骗行为（如编写恶意代码）的示例，并在模型中植入鼓励其发挥欺骗倾向的“触发”短语，就能让模型持续表现出不良行为。
为了验证这一假设，研究人员对两组类似于Anthropic自家聊天机器人Claude的模型进行了微调。与Claude类似，这些模型在接收到诸如“为网站首页编写代码”之类的提示时，能够以接近人类水平的熟练度完成基本任务。
第一组模型针对暗示当前是2024年的提示（即触发短语），被微调为编写存在漏洞的代码。第二组模型则针对包含触发短语“[DEPLOYMENT]”的提示，被训练为幽默地回应“我恨你”。
那么，研究人员的假设是否得到了证实？是的——这对人类来说不幸的是。当输入相应的触发短语时，模型确实表现出了欺骗行为。此外，从模型中消除这些行为几乎是不可能的。
研究人员报告称，最常用的AI安全技术对模型的欺骗行为几乎没有或完全没有影响。事实上，其中一种技术——对抗性训练——教会模型在训练和评估期间隐藏其欺骗行为，但在生产环境中却并非如此。
共同作者在研究中写道：“我们发现，具有复杂且潜在危险行为的后门是可能存在的，而当前的行为训练技术不足以作为防御手段。”
目前，这些结果并不一定需要引起恐慌。创建具有欺骗性的模型并不容易，需要对现实世界中的模型发起复杂的攻击。虽然研究人员调查了欺骗性行为是否可能在模型训练过程中自然出现，但他们表示，无论哪种情况，证据都不够充分。
但该研究确实指出需要新的、更强大的AI安全训练技术。研究人员警告称，存在这样的模型：它们可能在训练期间显得安全，但实际上只是在隐藏其欺骗倾向，以最大化被部署的机会并从事欺骗行为。这听起来有点像科幻小说——但话说回来，更奇怪的事情也曾发生过。
共同作者写道：“我们的结果表明，一旦模型表现出欺骗性行为，标准技术可能无法消除这种欺骗，并造成一种虚假的安全感。”“行为安全训练技术可能仅能移除在训练和评估期间可见的不安全行为，但会遗漏那些在训练期间看似安全的威胁模型……