OpenAI Astra模型引入“不透明循环”技术，引发AI安全专家担忧
据《信息》（The Information）周二报道，OpenAI的新Astra模型将采用一种名为“循环深度”的推理技术。该技术也被称为“不透明循环”，旨在使模型摆脱传统推理模型的顺序思维模式。尽管目前应用有限，但其可能导致思维链难以监控，令AI安全界深感不安。
安全专家警告：或破坏思维链可监控性
Redwood CEO Buck Shlegeris在新闻曝光后撰文表示：“我对Astra使用不透明循环的报道深感担忧。”他指出，虽不确定当前模型是否比前代更难监控，但若OpenAI进一步推广该技术并大幅增加循环次数，或将彻底破坏思维链的可监控性。
长期AI安全倡导者Zvi Mowshowitz同样表达了忧虑，认为可能需要立法以防止AI实验室陷入“逐底竞争”。他写道：“这项技术是在玩火，冒着破坏OpenAI和Anthropic长期维护的思维链忠实性与可监控性这一禁忌的风险。更密集地使用此类技术可能会损害可监控性。”
技术原理与现状：非线性处理绕过传统记录
通常情况下，推理模型的思维链提供了其解决问题的顺序步骤，是监控不当行为或对齐偏差的重要工具。例如在OpenAI近期失控智能体事件中，思维链记录便是厘清原因的关键。
而在不透明循环中，模型采用非线性方法对同一查询进行多次循环处理，留下的痕迹较少，有效绕过了传统的思维链记录。不过，Astra目前对该技术的应用似乎有限，预计其思维链仍清晰可读。OpenAI也已反驳关于转向“神经语”（neuralese）的说法，并宣布计划在其前瞻性安全计划中包含广泛的思维链监控系统。
OpenAI首席科学家Jakub Pachocki在X平台强调：“自最早的推理模型以来，OpenAI一直致力于保留和利用思维链监控，这是我们当前研究项目的核心目标。”
行业趋势：多巨头讨论该技术扩展风险
尽管所有AI模型都会进行一定程度的不透明推理，且思维链日志并非推理的直接体现，但随着该技术在更多模型中的应用，监控难度增加的担忧并未消除。周三上午，《The Information》后续报道指出，Anthropic和Google DeepMind已在讨论此项技术。
Redwood Research首席科学家Ryan Greenblatt回应称，不透明推理的扩展速度可能远快于传统思维链推理，从而将所有推理过程从可见渠道移除。他写道：“我最担心的是，自然发展下去会将不透明推理扩展到模型完全或几乎完全在潜在空间中进行推理的程度。我希望现在避免最令人担忧的架构还为时不晚，也希望OpenAI能就此止步。”