大数跨境

本周AI动态:OpenAI 远离安全优先

本周AI动态:OpenAI 远离安全优先 海外洞察
2024-05-18
1
导读:在本期《AI 一周要闻》中,我们聚焦 OpenAI 的“超级对齐”风波——以及围绕其缺乏对安全研究支持的指控。

跟上人工智能这样快速发展的行业是一项艰巨的任务。因此,在AI能够为你做到这一点之前,这里有一份机器学习领域近期故事的便捷汇总,以及我们未单独报道的值得注意的研究和实验。

顺便说一下,TechCrunch计划很快推出一份AI通讯,敬请期待。与此同时,我们将半定期的AI专栏频率从每月两次提高到每周一次,请留意更多版本。

OpenAI主导新闻周期:GPT-4o发布与安全团队解散

本周AI新闻中,OpenAI再次主导了新闻周期。该公司不仅发布了最强大的生成式模型GPT-4o,还卷入了一些内部斗争。就在发布产品几天后,OpenAI实际上解散了一个致力于开发控制措施以防止“超级智能”AI系统失控的团队。

该团队的解散引发了大量关注。报道表明,OpenAI为了推出GPT-4o等新产品而降低了对安全研究的优先级,最终导致团队两位联合负责人Jan Leike和联合创始人Ilya Sutskever辞职。

虽然超级智能AI目前更多是理论概念,但本周的报道证实了一件事:OpenAI领导层——特别是CEO Sam Altman——越来越倾向于优先考虑产品而非安全措施。据报道,Altman因急于推出AI功能而“激怒”了Sutskever;他还对前董事会成员Helen Toner持批评态度,因其合著论文质疑OpenAI的安全方法,甚至试图将她赶出董事会。

过去一年里,OpenAI允许聊天机器人存储垃圾信息及违规抓取的数据,同时声称其AI有生成色情和血腥内容的野心。显然,安全问题在这家公司已退居次要地位,越来越多的安全研究人员认为他们的工作在其他地方会得到更好的支持。

其他值得关注的AI动态

  • OpenAI + Reddit:OpenAI与Reddit达成协议,使用社交网站数据进行AI模型训练。华尔街对此表示欢迎,但Reddit用户可能并不高兴。
  • Google的AI:Google在年度I/O开发者大会上发布了大量AI产品,包括视频生成模型Veo、由AI组织的搜索结果,以及对Gemini聊天机器人的升级。
  • Anthropic聘用Krieger:Instagram联合创始人Mike Krieger将出任Anthropic首位首席产品官,负责监督消费者和企业业务。
  • 面向儿童的人工智能:Anthropic宣布允许开发人员在其模型基础上创建面向儿童的App和工具(需遵循特定规则),而Google等竞争对手目前不允许将其AI用于针对年轻用户的App开发。
  • 人工智能电影节:Runway举办了第二届AI电影节。结论显示,展示中最具力量的时刻并非来自AI本身,而是源于更具人性化的元素。

更多机器学习前沿研究

随着OpenAI人员离职引发对AI安全的关注,Google DeepMind正在推进新的“前沿安全框架”。该策略旨在识别并防止任何失控能力(不一定是AGI,也可能是失控的恶意软件生成器等)。

图片版权:Google DeepMind

该框架包含三个步骤:(1) 通过模拟模型发展路径识别潜在有害能力;(2) 定期评估模型以检测是否达到“关键能力水平”;(3) 实施缓解计划,防止数据被窃取或有问题的部署。将这些行动正式化至关重要,否则仅凭感觉行事容易导致不良AI的出现。

剑桥大学研究人员则指出了另一种风险:利用逝者数据训练聊天机器人以提供表面拟像。尽管这一概念令人反感,但若谨慎行事,可用于哀伤管理等场景。问题在于目前并未保持足够的谨慎。

图片版权:剑桥大学 / T. Hollanek

首席研究员Katarzyna Nowaczyk-Basińska表示:“这个AI领域是一个伦理雷区,我们现在就需要思考如何减轻数字永生带来的社会和心理风险。”相关研究已发表于《哲学与技术》期刊。

在科学应用方面,MIT物理学家正利用机器学习预测物理系统的相态或状态。通过在正确数据上训练模型并结合已知材料特性,可获得比传统统计任务更高效的解决方法。

科罗拉多大学博尔德分校正在探讨利用AI进行灾害管理,如预测资源需求、绘制损害地图及培训救援人员。尽管人们对在生死攸关场景中应用该技术持犹豫态度,但教授Amir Behzadan认为,以人为本的AI能促进协作与理解,带来更有效的灾害响应。

研讨会与会者。图片来源:科罗拉多大学博尔德分校

此外,迪士尼研究实验室正在研究如何使扩散图像生成模型的输出多样化。他们的解决方案是通过在推理过程中向条件向量添加按预定单调递减的高斯噪声来退火条件信号,从而平衡多样性和条件对齐度。

图片来源:迪士尼研究

结果是在图像输出的角度、场景和整体外观上呈现出更广泛的多样性。拥有这种选项总是有益的。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k