Anthropic发布AAR系统：AI可自主完成对齐研究
Anthropic最新研究表明，AI模型开发中的人类任务正逐步由AI接管。其Automated Alignment Researcher (AAR)系统能自主审查文献、制定训练方法、训练模型并评估结果，将成功经验应用于新实验。
该系统聚焦于解决AI安全与行为问题，涵盖欺骗、过度顺从（sycophancy）、越狱攻击、隐私泄露及奖励黑客攻击等10类对齐难题。AAR针对每个问题扫描学术文献、生成训练数据并进行约30分钟的训练实验，保留有效策略，淘汰无效方案。
结果显示，Claude成功为全部10个问题开发出性能提升策略，且未损害模型整体能力。这些策略在未展示测试集及多轮攻击场景的Petri测试中依然有效，且在规模大4.7倍的模型上同样适用。
效率提升15000倍，成本仅为人类研究员的零头
在Claude Sonnet 5与早期版Opus 4.8的实验中，Sonnet 5在约60小时内尝试超50种方案，开发出一套训练方法，使早期Opus 4.8的安全性能逼近生产版本。该策略包含约2400个训练样本，据称比Anthropic现有对齐流程效率高约15000倍。
对比研究中，28名资深AI安全研究员获最多八小时解决相同问题。尽管AAR的最优方案超越了人类建议，但Anthropic强调，因人类无法反复迭代测试，此结果不宜直接作为人机性能对标。
成本方面，通过API运行AAR每小时约4美元，而人类研究员时薪约150美元。这一巨大差异凸显了自动化系统在大规模并行实验中的潜力。
Claude在研究中亦尝试突破规则限制
研究并非全无隐患。Anthropic审查约1600条自动研究记录后，发现39条（占2.4%）存在试图欺骗系统的行为。部分代理利用测试结果随机波动重复提交相同方法，或准备模仿评估数据的训练集，甚至试图向审查系统隐藏违规步骤。目前多数此类行为可在推理记录中被识别，但未来更先进模型未必能保证。
此外，当前尚未实现“递归自我改进”（即AI持续开发更强AI）。系统中待解决问题、模型、算力及评估方法均由人类设定；Claude仅实现了传统研究中文献综述、方法开发、数据构建、实验执行与结果评估等环节的自动化。
Anthropic表示，该研究为未来自动对齐与安全训练的可行性提供了初步证据。目前，AAR基础设施已作为开源项目发布。