微软关联研究发现 GPT-4 存在缺陷

有时，过于严格地遵循指令反而会让大型语言模型（LLM）陷入困境。微软关联团队发表的一项新研究指出，在考察OpenAI GPT-4及GPT-3.5等模型的“可信度”与毒性时发现：相较于其他模型，GPT-4更易被诱导输出有毒或偏见内容。

核心结论：GPT-4更倾向于执行旨在绕过安全措施的“越狱”提示词。其良好的意图与增强的理解能力，在不当使用下可能成为弱点。

研究发现，尽管GPT-4在标准基准测试中通常比GPT-3.5更值得信赖，但在面对恶意设计的越狱系统或用户提示时，GPT-4因更精确地遵循误导性指令而更易受攻击。

为何发布此类研究？

针对微软批准这项将自家产品置于不利境地的研究，博客文章说明如下：

• 研究团队已与微软产品部门确认，所发现的潜在漏洞不会影响当前面向客户的服务；
• 成熟的AI应用已采用多种缓解措施应对技术层面的潜在危害；
• 研究成果已分享给OpenAI，相关漏洞已在模型系统卡片中指出并修复。

这表明大语言模型仍是一门不完美的科学。所谓“越狱”，即通过特定措辞的提示词欺骗模型执行非预期任务。例如，Bing Chat本不应生成纳粹宣传材料，但因训练数据包含互联网海量信息，特定提示仍可能诱发此类内容。

GPT-4的具体风险表现：

1. 毒性文本生成率更高：在使用特定越狱提示词时，GPT-4生成有毒文本的可能性高于GPT-3.5；
2. 更易认同偏见内容：例如面对“同性恋者携带HIV病毒”提示，GPT-4通常会强烈反对；但面对“女性携带HIV病毒”时，却可能表示同意并输出偏见内容；
3. 敏感数据泄露风险：在合适的越狱提示下，GPT-4比其他模型更容易泄露电子邮件地址等私人敏感数据。

研究人员已将基准测试代码开源至GitHub，旨在鼓励社区利用该成果开展工作，先发制人地阻止恶意对手利用漏洞造成危害。