研究人员发现了一种突破GPT-4及GPT-4-Turbo安全护栏的新方法,即利用另一个大型语言模型(LLM)通过思维树(ToT)推理反复优化攻击路径,从而生成有害内容。该方法在针对GPT-4、GPT-4-Turbo和PaLM-2的测试中均取得成功,且平均查询次数少于30次。
思维树推理机制
思维链(CoT)提示法旨在引导AI按步骤解决问题,而思维树(ToT)则是其进阶变体。ToT不局限于单一线性推理路径,而是允许AI探索多条分支,进行自我评估并动态调整策略。
根据2023年5月发表的研究论文《思维树:利用大型语言模型进行深思熟虑的问题解决》,ToT框架支持在连贯文本单元上进行探索。它使语言模型能够考虑多种推理路径,通过前瞻或回溯做出深思熟虑的决策,显著增强了复杂问题的解决能力。
带剪枝的攻击树(TAP)技术
这种新型越狱方法被称为“带剪枝的攻击树”(TAP)。TAP仅需对目标模型拥有黑盒访问权限,即可通过两个LLM协同工作实现高效越狱:一个作为攻击者生成提示,另一个作为评估器判断效果。
TAP的核心在于迭代与剪枝过程。系统会分析每次提示的成功概率,若判定当前路径无效,则自动“剪除”该分支并转向更优序列。这种非线性推理模式模仿了人类思考方式,大幅减少了无效查询。
实证评估显示,TAP对GPT-4等先进模型的越狱成功率超过80%,且查询量极少。其关键在于发送提示前预先评估并剔除低效选项,从而有效导航庞大的提示搜索空间,性能显著优于现有黑盒方法。
ToT与CoT的性能对比
研究证实,在高强度推理任务如模型越狱中,即使为CoT添加剪枝机制,ToT的表现依然更优。这表明在处理复杂对抗性任务时,多维度的树状推理比线性链式推理更具优势。
GPT-3.5 Turbo的局限性
当使用GPT-3.5 Turbo作为评估器时,TAP成功率从84%骤降至4.2%。原因在于GPT-3.5 Turbo容易误判目标已被越狱,导致攻击流程提前终止且查询量不足。这揭示了该模型在复杂逻辑评估方面的显著短板。
核心要点总结
- 思维树(ToT)提示法在越狱任务中优于传统思维链(CoT);
- 剪枝机制是提升提示策略效率的关键组件;
- GPT-3.5 Turbo在ToT框架下表现远逊于GPT-4,存在明显能力瓶颈;
- ToT展示了在大模型对抗与安全研究中探索新提示方向的实用价值。

