大数跨境

OpenAI前政策主管批评该公司“篡改”其人工智能安全历史

OpenAI前政策主管批评该公司“篡改”其人工智能安全历史 海外洞察
2025-03-06
0
导读:前OpenAI高级政策研究员迈尔斯·布伦戴奇(Miles Brundage)周三在社交媒体上批评OpenAI“篡改历史”,称其对其部署潜在高风险人工智能系统的方式进行了不实描述。

知名前OpenAI政策研究员Miles Brundage于周三在社交媒体上批评OpenAI“篡改历史”,称其部署潜在高风险AI系统的方式被歪曲。

OpenAI的迭代部署理念

本周早些时候,OpenAI发布文件概述了其在AI安全与对齐方面的最新理念。AI对齐是指设计能够以令人满意且可解释方式运行的AI系统的过程。OpenAI表示,将AGI(广义定义为能执行人类所能执行的任何任务的AI系统)的发展视为一条“持续路径”,需通过对AI技术进行“迭代部署和学习”来实现。

OpenAI指出:“在一个非连续的世界中……安全经验来自于相对于其表面能力对当前系统采取过度谨慎的态度,[这是我们]为[我们的AI模型]GPT‑2所采取的方法。”“我们现在将首个AGI仅仅视为一系列日益有用的系统中的其中一个节点……在非连续世界中,使下一个系统安全且有益的方法是向当前系统学习。”

Brundage:GPT-2发布策略与现状一致

Brundage声称,GPT-2在其发布时确实值得高度谨慎对待,而这与OpenAI如今采用的迭代部署策略“完全一致”。

“OpenAI发布GPT-2(我曾参与其中)完全符合[并预示了]OpenAI当前的迭代部署哲学,”Brundage写道,“该模型是逐步发布的,每一步都分享了相关经验教训。当时许多安全专家对此种谨慎态度表示感谢。”

Brundage于2018年加入OpenAI担任研究科学家,并在该公司担任政策研究主管多年。在OpenAI的“AGI就绪”团队中,他特别关注语言生成系统(如ChatGPT)的责任性部署。

GPT-2由OpenAI于2019年推出,是驱动ChatGPT的AI系统先驱之一。它能够回答问题、总结文章,并以有时难以与人类区分的方式生成文本。虽然GPT-2及其输出在今天看来可能显得基础,但在当时却是前沿技术。出于对恶意使用风险的担忧,OpenAI最初拒绝发布GPT-2源代码,而是选择向选定新闻媒体提供演示版的有限访问权限。

行业争议与安全心态之辩

这一决定在人工智能行业引发了褒贬不一的评价。许多专家认为GPT-2构成的威胁被夸大,且无证据表明该模型会被滥用。专注于人工智能的出版物《The Gradient》甚至发表公开信要求OpenAI发布该模型,认为其技术重要性太高不应被扣留。

在模型亮相六个月后,OpenAI最终发布了GPT-2部分版本,随后又发布了完整系统。Brundage认为这是正确的做法。

“[GPT-2发布]中有哪些部分是基于将AGI视为不连续性的思考而受到动机或前提影响的?完全没有,”他在X平台的文章中表示,“有什么证据表明这种谨慎是‘不成比例’的事前判断?事后来看这可能没问题,但这并不意味着在当时信息的情况下,贸然行事是负责任的。”

Brundage担心,OpenAI在该文件中的目的是设定一个举证责任,即“担忧是危言耸听的”,并且“你需要确凿的证据来证明迫在眉睫的危险才能采取行动”。他认为这是一种对先进人工智能系统“非常危险”的心态。

“如果我仍在OpenAI工作,我会问为什么这份[文件]是这样写的,以及OpenAI究竟希望通过如此片面地贬低谨慎来达到什么目的,”Brundage补充道。

竞争加剧下的安全权衡

OpenAI历来被指责为了安全而优先考虑“光鲜的产品”,并急于发布产品以抢先竞争对手进入市场。去年,OpenAI解散了其AGI准备团队,一系列AI安全和政策研究人员离开该公司加入竞争对手。

竞争压力不断加剧。中国AI实验室DeepSeek凭借其公开可用的R1模型吸引了全世界关注,该模型在多项关键基准测试中与OpenAI的o1“推理”模型表现相当。OpenAI CEO Sam Altman已承认DeepSeek缩小了OpenAI的技术领先优势,并表示OpenAI将“推迟一些发布”以更好地参与竞争。

利益巨大。OpenAI每年亏损数十亿美元,据报道该公司预计年度亏损到2026年可能增至140亿美元。更快的产品发布周期可能在短期内有利于OpenAI的底线,但可能会以牺牲长期安全为代价。像Brundage这样的专家质疑这种权衡是否值得。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k