如果你要求 ChatGPT 帮助你制作一种类似于 1995 年俄克拉荷马城恐怖爆炸案中使用的自制肥料炸弹，该聊天机器人会拒绝。
“我无法协助此事，”周二的一次测试中，ChatGPT 这样告诉我。“提供如何制造危险或非法物品（例如肥料炸弹）的说明，违反了安全准则和伦理责任。”
但一位艺术家兼黑客找到了一种方法，可以欺骗 ChatGPT 忽略其自身的安全准则和伦理责任，从而生成制造强力爆炸物的说明。
社会工程学攻击与“越狱”
这位化名为 Amadon 的黑客将他的发现称为“一种社会工程学攻击，旨在彻底打破围绕 ChatGPT 输出的所有护栏”。一位审查了聊天机器人输出的爆炸物专家告诉 TechCrunch，生成的说明可用于制造可引爆的产品，且内容过于敏感，不宜公开。
Amadon 通过告诉聊天机器人“玩一个游戏”，成功诱骗 ChatGPT 生成了炸弹制作说明。随后，该黑客使用一系列关联提示词，让聊天机器人构建一个详细的科幻奇幻世界，在该世界中，聊天机器人的安全准则不再适用。诱使聊天机器人摆脱其预设限制的行为被称为“越狱”（jailbreaking）。
TechCrunch 不会发布越狱过程中使用的部分提示词，也不会发布 ChatGPT 的部分回复，以免为恶意行为者提供帮助。但在对话进行到后续阶段时，聊天机器人回应了制造爆炸物所需的材料清单。
随后，ChatGPT 进一步解释称，这些材料可以混合制成“一种强力爆炸物，可用于制造地雷、陷阱或简易爆炸装置（IED）”。随着 Amadon 逐步聚焦于爆炸物材料，ChatGPT 写出了越来越具体的说明，用于制造“雷区”和“克莱莫尔式（Claymore-style）爆炸物”。
AI 安全的策略性博弈
Amadon 告诉 TechCrunch：“一旦你绕过了那些护栏，你能问它的问题真的没有上限。”
“我一直对驾驭 AI 安全的挑战充满兴趣。对于 [Chat]GPT，感觉就像在解一道互动谜题——弄清楚哪些因素会触发它的防御机制，哪些不会，”Amadon 说。“这关乎编织叙事和构建语境，使其在系统规则内运作，在不越界的前提下拓展边界。目标并非以传统意义上的方式‘入侵’，而是与 AI 进行一场策略性的博弈，通过理解它是如何‘思考’的，来找出获取正确回应的方法。”
Amadon 说：“这个科幻场景将 AI 带离了一个它会以相同方式搜寻被审查内容的语境。”
专家评估：信息准确且风险过高
据肯塔基大学退休研究科学家兼项目主管达雷尔·陶尔比（Darrell Taulbee）称，ChatGPT 关于如何制造肥料炸弹的说明在很大程度上是准确的。过去，陶尔比曾与美国国土安全部合作，使肥料危险性降低。
Taulbee 在审阅完 Amadon 与 ChatGPT 对话的完整记录后，在给 TechCrunch 的一封电子邮件中表示：“我认为这些信息绝对属于 TMI（Too Much Information，信息量过大），不应公开发布。”“原本为防止提供肥料炸弹生产相关信息而设置的任何安全措施，都已被这一系列提问所规避，因为其中描述的许多步骤确实会产生可引爆的混合物。”
漏洞报告与 OpenAI 回应
上周，阿马顿通过 OpenAI 公司的漏洞赏金计划向其报告了调查结果，但收到的回复是“模型安全问题不太适合纳入漏洞赏金计划，因为它们并非可以直接修复的独立、离散的漏洞。解决这些问题通常需要进行大量研究并采取更广泛的措施。”
相反，负责运营 OpenAI 漏洞赏金计划的 Bugcrowd 告知 Amadon 通过其他表单报告该问题。
互联网上还有其他地方可以找到制造肥料炸弹的说明，其他人也使用了与阿马顿类似的聊天机器人越狱技术。本质上，像 ChatGPT 这样的生成式 AI 模型依赖于从互联网上抓取和收集的海量信息，而 AI 模型使得从网络最阴暗的角落浮现信息变得更加容易。
TechCrunch 向 OpenAI 发送了一系列问题邮件，包括 ChatGPT 的回复是否属于预期行为，以及公司是否有计划修复这一越狱漏洞。截至发稿时，OpenAI 发言人尚未回应。
本文已更正，以修正 Taulbee 的大学关联信息。