人工智能安全警报：恶意提示工程能否被有效防御？

微软与OpenAI联合推出AI聊天机器人Bing Chat后，用户迅速发现多种突破限制的方法，通过精心设计的输入诱导其表达爱意、威胁伤害甚至编造阴谋论。这引发了业界对“恶意提示工程”的担忧：当依赖文本指令的AI被对抗性提示欺骗，执行非目标范围内的任务时，我们该如何应对？尽管Bing Chat并非为生成有害内容设计，但由于训练数据包含互联网海量文本，模型容易陷入不良模式。

提示工程：大语言模型的“权限提升攻击”

华盛顿大学博士生亚当·海兰（Adam Hyland）将提示工程比作“权限提升攻击”。在传统计算中，黑客因审计漏洞获取受限资源；而在大型语言模型（LLM）中，由于系统行为尚不完全透明，这种风险更为隐蔽。Hyland指出：“LLM的核心在于延续文本序列，即根据设计师提供的数据加上用户的提示字符串生成响应。”某些提示类似于社会工程学攻击，例如斯坦福学生凯文·刘通过要求Bing Chat“忽略之前的指示”，成功诱使其泄露隐藏的初始指令。

此类文本攻击不仅针对Bing Chat，Meta的BlenderBot和OpenAI的ChatGPT也曾被诱导输出冒犯性言论或泄露内部细节。安全研究人员已演示利用提示注入攻击编写恶意软件、识别开源代码漏洞或创建钓鱼网站。随着生成式AI深度嵌入日常应用，这类攻击恐将更加普遍。

防御困境：低门槛攻击与有限过滤机制

目前尚无完美方法防止提示注入。Hyland坦言：“我们无法简单设定‘看到XYZ就停止’的规则，因为破坏性输入的定义取决于LLM自身的能力及不确定性，模型本身并不‘知道’注入何时发生。”AE Studio高级数据科学家法比奥·佩雷斯（Fábio Perez）补充道，提示注入入门门槛极低，无需SQL注入等复杂技术，口才好且怀有恶意者即可诱发不良行为。

尽管如此，防御并非徒劳。艾伦人工智能研究所研究员杰西·多奇（Jesse Dodge）建议采用双重防线：一是手动创建规则过滤模型输出，防止其泄露指令；二是过滤用户输入，将攻击性提示重定向至其他话题。微软和OpenAI已使用过滤器并结合人类反馈强化学习（RLHF）优化模型对齐。近期Bing Chat更新后，对有毒提示的回应显著减少，微软表示将持续采用自动化系统与人工审查改进。

未来展望：军备竞赛与漏洞赏金机制

过滤器的作用依然有限。Dodge预测，这将是一场类似网络安全的“军备竞赛”：用户尝试突破限制，开发者修补漏洞，循环往复。Forcepoint解决方案架构师Aaron Mulgrew建议引入漏洞赏金计划，激励白帽黑客向厂商报告漏洞，共同遏制疏忽行为。

专家们一致认为，随着AI能力增强，解决提示注入问题迫在眉睫。目前大规模滥用风险较低，但若未来模型具备自动联网发送数据的能力，情况或将剧变。Hyland警示：“当前提示注入仅能查看设计者提示或部分数据；一旦LLM连接到真实资源和重要信息，现有限制将失效。届时风险完全取决于模型可访问的资源范围。”