OpenAI尚未推出的新人工智能模型Astra不仅因其据称具备的高级网络安全能力而引发争议，还因其采用的新推理方法而备受讨论。据报道，“循环深度”（recurrent depth）是Astra使用的一种技术，该技术使观察模型的思考过程变得更加困难。人们指出，人工智能安全研究人员则警告说，这种也被称为“不透明循环”（opaque recurrence）的方法可能会使监控模型行为变得越来越困难。
根据 The Information 分享的信息，Astra 利用了一种被称为“循环深度”（recurrent depth）或“循环 Transformer”的方法。在传统推理模型中，处理过程在很大程度上是顺序进行的；而在这种方法中，信息可以在模型的内部层之间多次循环传递。因此，模型能够在同一问题上执行更多计算，同时推理过程的很大一部分可以发生在以自然语言表达的思维链之外。
追踪人工智能模型的思维变得越来越困难
核心问题在于思维链（chain-of-thought）的可追溯性。如今，先进推理模型生成的中间思考步骤被视为研究人员判断模型是否发展出不良行为的重要工具之一。例如，这些记录可用于检测模型是否试图绕过安全措施，或是否开发了向用户隐藏的不同策略。OpenAI 此前进行的自主代理测试也指出，思维链在理解模型为何表现出特定行为方面发挥了重要作用。
在循环深度方法中，由于计算的大部分发生在模型的内部表示中，这可能会减少安全系统可审查的可读思维痕迹。Redwood Research首席科学家Ryan Greenblatt认为，如果该方法在更大规模上应用，模型的推理过程大部分可能会被转移到可见渠道之外。此外，Greenblatt警告说，人工智能公司之间的性能竞赛可能会促使开发人员越来越多地使用更难以观察的架构。
Redwood Research首席执行官Buck Shlegeris也表达了对Astra中使用“不透明循环”的担忧。因在人工智能安全领域工作而闻名的Zvi Mowshowitz提出，为了防止企业因竞争而转向更难以追踪的系统，未来可能需要出台监管措施。
OpenAI 限制 Astra 中该技术的使用
然而，现在就说 Astra 完全成为一个不可追踪的模型还为时过早。据传，为了确保研究人员能够跟踪模型的思考过程，OpenAI 在 Astra 中限制了循环深度技术的使用。据报道，该模型思维链的重要组成部分仍将保持可读性。
OpenAI首席科学家Jakub Pachocki表示，自其首批推理模型以来，该公司一直努力维护链式思维跟踪方法，这也是当前研究计划的核心目标之一。Pachocki还指出，Astra的计算深度约为GPT-4的两倍，因此出现的架构变化可能不像一些评论中所声称的那样具有戏剧性。OpenAI既未确认也未否认在Astra中使用了循环Transformer架构。
该公司在为其Astra开发的安全措施中特别重视思维链跟踪。OpenAI此前已说明，将部署额外的链式思维跟踪系统，以便快速发现并限制模型潜在的意外或不一致行为。
让模型通过其内部表示进行更多计算可以提高性能。但同样的特性也可能使安全研究人员难以理解模型的决策机制。此外，Anthropic 和 Google DeepMind 也在讨论类似的技术。因此，关于循环深度的争论可能超越 Astra 本身，演变为更广泛的行业讨论，即新一代人工智能架构应具备多大程度的可观察性。