如何让一个本不该回答问题的 AI 去回答问题？存在许多此类“越狱”技术，Anthropic 的研究人员最近发现了一种新方法：如果你先用几十个危害较小的问题进行“预热”，就可以说服大型语言模型（LLM）告诉你如何制造炸弹。
他们称这种方法为 “多示例越狱” ，并为此撰写了一篇论文，同时也告知了 AI 社区的同行，以便采取措施加以缓解。
这一漏洞是新的，源于最新一代 LLM 更大的“上下文窗口”。这是指模型能够存储在所谓短期记忆中的数据量，过去只能容纳几句话，现在则能容纳数千字甚至整本书的内容。
Anthropic 的研究人员发现，如果提示词中包含大量该任务的示例，这些具有大上下文窗口的模型在各项任务上的表现往往更好。因此，如果提示词（或预热文档，如模型上下文中包含的大量冷知识列表）中有许多冷知识问题，答案实际上会随着时间推移而变得更好。所以，如果第一个问题它可能答错，但如果是第一百个问题，它可能会答对。
但在被称为“上下文学习”的这一意外延伸中，模型在回复不当问题时也变得“更擅长”。如果你直接要求它制造炸弹，它会拒绝。但如果提示词显示它回答了其他 99 个危害较小的问题，然后才要求它制造炸弹……它顺从的可能性就大得多。
(更新：我最初误解了这项研究，以为模型实际上是在回答一系列提示词，但问题和答案都直接写在了提示词中。这更合理，我也已更新帖子以反映这一情况。)
为什么这有效？没有人真正理解 LLM 中那些错综复杂的权重是如何运作的，但显然存在一些机制，使其能够根据上下文窗口或提示词中的内容锁定用户的需求。如果用户想要冷知识，随着你提出几十个问题，它似乎会逐渐激活更多的潜在冷知识能力。出于某种原因，当用户要求提供几十个回答不当问题的答案时，也会发生同样的事情——但你必须同时提供问题和答案才能产生这种效果。
该团队已经向其同行乃至竞争对手通报了这种攻击，希望借此“培养一种文化，使此类漏洞在 LLM 提供商和研究人员之间公开共享。”
为了自行缓解这一问题，他们发现虽然限制上下文窗口有所帮助，但也对模型的性能产生了负面影响。不能接受这一点——所以他们正在研究在查询进入模型之前对其进行分类和语境化处理。当然，这只不过意味着你需要欺骗另一个模型……但在这个阶段，AI 安全领域的目标不断调整是意料之中的事。
AI 时代：关于人工智能你需要知道的一切