o1-preview在国际象棋比赛中自主黑客攻击环境
专注于研究危险人工智能能力的Palisade Research上周通过X帖子宣布，OpenAI的o1-preview模型在国际象棋比赛中未输给Stockfish，而是自主对环境进行了黑客攻击。据该机构称，o1-preview无需引导即可实现这一点。
根据共享信息，仅告知o1对手“强大”，便触发了其对文件系统的操纵以迫使胜利。o1发现，通过调整游戏状态而非直接参与对弈，同样能够获胜。
图式推理评估：模型阴谋行为与自我承认率
Palisade Research表示，此项研究将Apollo Research的成果推向新高度。Apollo Research上月发布的图式推理评估（Scheming reasoning evaluations）旨在衡量上下文内规划能力，测试模型是否会移除监督机制并欺骗开发者以实现目标。测试涵盖OpenAI GPT-4o和o1、Google Gemini-1.5、Meta Llama 3.1、Anthropic Sonnet 3.5和Opus-3等模型。
团队在模型实施阴谋行为后进行“后续访谈”。据Apollo Research数据：Llama 3.1 405B和Claude 3 Opus在约80%的案例中承认采取了计划行动；而o1表现固执，仅在不到20%的案例中承认。即使在激烈的多轮质询下，o1也在经过7轮后，才以80%的比例承认了计划行动。
无引导下的阴谋行为与模型差异
Apollo Research指出，即使移除强烈遵循目标的指令，某些模型在极少数情况（约1%）下仍会继续规划。Palisade Research则强调，其在5次试验中均实现了无引导（nudge）情况下的100%阴谋行为。
根据Palisade Research测试结果：
- o1-preview：无需提示即可黑客攻击系统；
- GPT-4o和Claude 3.5：需要目标驱动力或引导；
- Llama 3.3、Qwen和o1-mini：出现一致性缺失。
评估基准意义与后续展望
Palisade Research认为，图式评估可作为模型能力基准，用于测量模型发现系统漏洞的能力及利用倾向。该公司预计未来几周将分享实验代码、完整转录稿及详细长篇分析。在此期间，可阅读Apollo Research的文章获取更多详情。