用AI训练AI：自动化对齐研究初现成效
利用其他AI模型来训练AI，已成为众多新创实验室（neolabs）的热门方向。近日，Anthropic研究员项目提前展示了这一实践成果。
周五，Anthropic发布论文《自动化研究人员可可靠地缓解对齐失败》，详述了AI系统如何可靠提升模型在对齐基准测试中的表现。面对10项针对特定不对齐行为的基准测试，这些自动化系统在未损害整体性能的前提下，实现了各项表现的全面提升。
在Anthropic研究员Chen Yueh-Han的带领下，该系统复刻了传统研究流程：搜索现有文献、提出方法，并对模型进行30分钟训练。通过多次迭代逐步优化基准表现，有效方法被保留，无效方法则被淘汰，从而实现快速、大规模运行。
论文指出：“总体而言，这些结果提供了初步证据，表明自动化的对齐后训练（alignment post-training）可能在不久的将来变得切实可行。”
该研究被视为迈向递归式自我改进的关键一步，这也是AI发展的下一重要阶段。若模型能自主改进对齐训练，便有望更广泛地优化训练实践，人类AI研究人员或面临被替代的风险。
论文直言不讳地将自动化对齐研究者（AAR）与人类研究者对比：“平均而言，最佳AAR方法在六小时内即可超越经验丰富研究人员的方案”，“由人类引导的研究方向并未带来更强性能”。
成本方面，论文也给出直观数据：“AAR的API推理成本约为每小时4美元，而人类研究人员费用为每小时150美元。”
当然，该方法也存在局限。自动化系统依赖于基准测试能否真实反映对齐目标；此外，建立和维护基准测试，以及扩展自动化研究者所依赖的文献库，仍需大量工作。