OpenAI正组建由首席科学家兼联合创始人伊利亚·苏茨克弗(Ilya Sutskever)领衔的新团队,旨在研发引导与控制“超智能”AI系统的方法。
Sutskever与对齐团队负责人Jan Leike在最新博文中预测,超越人类智能的AI或于十年内问世。他们指出,此类AI未必具备善意,亟需研究相应的控制与限制手段。
核心挑战:人类监督失效
二人表示:“目前尚无方案能确保潜在超智能AI受控且不失控。”现有对齐技术(如基于人类反馈的强化学习)依赖人类监督,但人类无法可靠监管远超自身智能的系统。
超级对齐团队:投入20%算力攻坚
为推动“超智能对齐”,OpenAI成立由Sutskever和Leike共同领导的超级对齐团队,获配公司20%算力资源。成员涵盖原对齐部门及内部其他组织的科研人员,未来四年将专注攻克核心技术难题。
实施路径:构建自动化对齐研究者
该计划旨在打造“达到人类水平的自动化对齐研究者”。即利用人类反馈训练AI辅助评估其他AI,最终实现AI自主开展对齐研究(确保AI达成预期目标且不偏离正轨)。OpenAI假设AI在对齐研究上的进展速度将优于人类。
Leike、John Schulman及Jeffrey Wu此前推测:“随着技术演进,AI系统将逐步接管对齐工作,并开发出更优的对齐技术。它们将与人类协作,确保后继者符合人类价值观。人类研究员的角色将转向审查AI生成的研究成果,而非亲自执行研究。”
局限性与开放态度
团队坦言该方法并非万无一失:AI评估可能放大不一致性、偏见或脆弱性,且对齐难题的核心或许不在工程层面。但Sutskever和Leike认为此举值得尝试。
他们强调:“超智能对齐本质是机器学习问题,优秀ML专家至关重要。我们将广泛分享成果,并将助力非OpenAI模型的对齐与安全视为重要使命。”

