大数跨境

OpenAI正在组建一个新团队,以将“超智能”人工智能纳入控制

OpenAI正在组建一个新团队,以将“超智能”人工智能纳入控制 海外洞察
2023-07-05
1
导读:OpenAI表示,它正在组建一支由首席科学家领导的新团队,以探索在技术上将“超智能”人工智能与人类意图对齐的方法。

OpenAI正组建由首席科学家兼联合创始人伊利亚·苏茨克弗(Ilya Sutskever)领衔的新团队,旨在研发引导与控制“超智能”AI系统的方法。

Sutskever与对齐团队负责人Jan Leike在最新博文中预测,超越人类智能的AI或于十年内问世。他们指出,此类AI未必具备善意,亟需研究相应的控制与限制手段。

核心挑战:人类监督失效

二人表示:“目前尚无方案能确保潜在超智能AI受控且不失控。”现有对齐技术(如基于人类反馈的强化学习)依赖人类监督,但人类无法可靠监管远超自身智能的系统。

超级对齐团队:投入20%算力攻坚

为推动“超智能对齐”,OpenAI成立由Sutskever和Leike共同领导的超级对齐团队,获配公司20%算力资源。成员涵盖原对齐部门及内部其他组织的科研人员,未来四年将专注攻克核心技术难题。

实施路径:构建自动化对齐研究者

该计划旨在打造“达到人类水平的自动化对齐研究者”。即利用人类反馈训练AI辅助评估其他AI,最终实现AI自主开展对齐研究(确保AI达成预期目标且不偏离正轨)。OpenAI假设AI在对齐研究上的进展速度将优于人类。

Leike、John Schulman及Jeffrey Wu此前推测:“随着技术演进,AI系统将逐步接管对齐工作,并开发出更优的对齐技术。它们将与人类协作,确保后继者符合人类价值观。人类研究员的角色将转向审查AI生成的研究成果,而非亲自执行研究。”

局限性与开放态度

团队坦言该方法并非万无一失:AI评估可能放大不一致性、偏见或脆弱性,且对齐难题的核心或许不在工程层面。但Sutskever和Leike认为此举值得尝试。

他们强调:“超智能对齐本质是机器学习问题,优秀ML专家至关重要。我们将广泛分享成果,并将助力非OpenAI模型的对齐与安全视为重要使命。”

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k