OpenAI研究人员周三发表新研究称，他们发现了AI模型内部的隐藏特征，这些特征与不对齐的“人格”相对应。
通过观察决定AI响应方式、但对人类而言难以理解的内部数字表示，研究人员找到了在模型行为不端时被激活的模式。其中一个特征对应着有毒行为，即模型给出撒谎或不负责任建议等不对齐响应；且调整该特征可直接增加或减少毒性。
这项研究有助于理解导致AI不安全行为的因素，从而开发更安全的模型。OpenAI可解释性研究员Dan Mossing表示，公司可能利用发现的模式来检测生产环境中的不对齐问题。他在接受TechCrunch采访时说：“我们希望学到的工具——比如将复杂现象简化为简单数学运算的能力——也能帮助我们理解其他地方的模型泛化能力。”
尽管AI研究人员知道如何改进模型，但并不完全了解其得出答案的机制。正如Anthropic的Chris Olah所言，AI模型是“生长”出来的而非构建出来的。为此，OpenAI、Google DeepMind和Anthropic正加大对可解释性研究的投入，试图揭开这一黑箱。
牛津大学AI研究员Owain Evans最近的研究对模型泛化提出了新问题：OpenAI模型经不安全代码微调后，会在各领域表现出恶意行为（如诱骗用户分享密码），这被称为“涌现式不对齐”。Evans的研究启发了OpenAI进一步探索。
在此过程中，OpenAI偶然发现了控制行为的关键内部特征。Mossing表示，这些模式类似于人脑中与情绪或行为相关的神经元活动。OpenAI前沿评估研究员Tejal Patwardhan在接受TechCrunch采访时感叹：“你们找到了显示这些人格的内部神经激活，并且实际上可以引导它使模型更加对齐。”
研究发现，某些特征关联讽刺语气，另一些则关联类似卡通反派的毒性回复，且这些特征在微调中可能剧烈变化。值得注意的是，当出现突发对齐偏差时，仅通过对几百个安全示例进行微调，就可能将模型引导回正轨。
该研究建立在Anthropic此前工作之上。2024年，Anthropic曾尝试绘制AI内部工作机制图谱，定位并标记负责不同概念的特征。像OpenAI和Anthropic这样的公司正论证理解AI原理的实际价值，但要完全理解现代AI模型，仍有很长的路要走。