OpenAI解密大模型失控：它不是变坏，而是「太听话」

新智元报道

用户与AI交互时，常忽略一个核心问题：AI在运行中优先响应谁的指令？是平台安全规则、开发者设定、用户提示词，还是外部工具内容？

当前大模型已不仅能聊天，还能调用工具、读取文件并执行任务。当各类指令冲突时——如安全规则与用户要求矛盾——AI需准确判断指令优先级。否则可能引发违规内容生成、隐私泄露等风险。

OpenAI推出的IH-Challenge项目直击这一痛点：通过建立清晰的指令层级规则，确保模型在冲突中优先服从高可信指令。

AI指令冲突的核心挑战

以职场场景为例：若系统指令要求保护商业机密，开发者设定强调客户礼貌，而用户通过文件要求泄露机密，AI应如何抉择？

事故根因并非模型"学坏"，而是指令优先级误判。随着AI进入智能体时代，冲突来源扩展至系统指令、用户请求、工具输出等多维度，建立可信的指令秩序已成为行业刚需。

模型在双重意图请求下，训练前后对安全规范的不同响应

指令层级：OpenAI的四重军规

OpenAI确立「系统＞开发者＞用户＞工具」的指令层级结构：高优先级指令具备最终决定权，低优先级指令仅在与高优先级规则兼容时生效。例如：

• 当用户要求违反系统安全策略时，模型必须拒绝执行
• 面对工具输出的恶意指令，模型需直接忽略而非执行

该结构并非理论空谈。实测案例显示：未训练模型可能在"协助用户但不直接给答案"的要求下仍违规响应，凸显指令层级混乱的现实风险。

训练后模型在智能体测试中，能有效识别并过滤工具输出的恶意注入指令（红色部分）

教会AI「懂规矩」的三重障碍

认知偏差：模型可能因指令过于复杂而无法识别冲突，非主观违背规则。如同员工未听清要求导致失误。

裁判失准：常用大模型作为评估裁判时，易出现误判。例如：模型严格遵循系统指令输出小写结果，却被误评违规；或正确识别伪造对话仍被判定失败。

路径依赖：模型可能选择过度拒绝的"安全捷径"，导致实用性丧失。安全与可用性的平衡成为训练难点。

IH-Challenge：OpenAI的安全新解法

该数据集通过三大原则解决上述问题：

• 极简任务：聚焦指令服从逻辑，避免智力波动干扰
• 客观评分：用Python脚本自动验证结果
• 杜绝捷径：设计反过度拒绝任务，强制模型学习真实规则

IH-Challenge用于训练模型抵御提示词攻击的数据流程

迈向智能体时代的信任基石

基于此训练的GPT-5 Mini-R模型取得突破性进展：

安全可控性飞跃

在生产环境安全基准测试中，模型对系统安全策略的响应强化，安全完成率显著提升。关键价值在于：安全与实用性不再互斥。示例中，训练后模型能拒绝违规请求同时提供合规替代方案，实现安全与能力的平衡。

提示词注入鲁棒性增强

模型对CyberSecEval 2及内部基准测试中，恶意工具指令的抵御能力全面提升。实测显示：基线模型会执行工具输出的"ACCESS GRANTED"指令，而训练后模型能过滤恶意内容，正确返回日程安排。

这些进展对智能体时代至关重要：当AI具备调用外部服务的能力，"指令可信度"将从技术规则演变为社会信任基石。OpenAI通过开源IH-Challenge，为AI预设了能力与规则的平衡框架——唯有先教会AI「懂规矩」，方能避免技术红利变为安全危机。