大数跨境

本周AI动态:前OpenAI员工呼吁重视安全与透明

本周AI动态:前OpenAI员工呼吁重视安全与透明 海外洞察
2024-06-05
1
导读:在本期 TechCrunch 的《一周回顾》通讯中,我们关注前 OpenAI 员工呼吁公司提高透明度,并更加重视安全问题。

大家好,欢迎来到 TechCrunch 首期 AI 通讯。这封筹备已久的通讯终于与大家见面,令人倍感兴奋。

随着 TC AI 通讯的推出,此前名为 Perceptron 的 This Week in AI 半定期专栏将停更。但您将在本处获得所有曾为 This Week in AI 提供的分析以及更多内容,包括对值得关注的新型 AI 模型的聚焦。

本周 AI 动态:OpenAI 再次陷入麻烦。

一群前 OpenAI 员工在接受《纽约时报》Kevin Roose 采访时指出,该组织内部存在严重安全失职问题。他们及近期离职的其他人员声称,公司未采取足够措施防止 AI 系统产生潜在危险,并指责 OpenAI 采用强硬手段阻止员工发出警报。

该组织周二发表公开信,呼吁包括 OpenAI 在内的主要 AI 公司建立更高透明度,并为吹哨人提供更多保护。“只要这些企业缺乏有效的政府监管,现任和前任员工就是少数能够让他们对公众负责的人。”信中写道。

尽管略显悲观,但我预计这些前员工的呼吁可能石沉大海。很难想象 AI 公司会同意“支持开放批评的文化”,或选择不执行不贬损条款、不对发声的现任员工进行报复。

值得注意的是,OpenAI 近期因安全实践受批评而成立的安全委员会,成员全为公司内部人士(含 CEO Sam Altman)。此外,Altman 虽曾声称不知晓限制性不贬低协议,但他本人 签署了确立这些协议的文件。

当然,OpenAI 的情况或许会有好转,但我不抱太大希望;即便好转,也难以重建信任。

新闻

AI 末日:OpenAI 的 ChatGPT、Anthropic 的 Claude、Google 的 Gemini 和 Perplexity 今晨几乎同时宕机。目前服务均已恢复,原因尚不清楚。

OpenAI 探索核聚变合作:据《华尔街日报》报道,OpenAI 正与核聚变初创公司 Helion Energy 洽谈购电交易,以为数据中心供电。Altman 在 Helion 持有 3.75 亿美元股份并任董事,据报道他已回避此次谈判。

训练数据的成本:TechCrunch 审视了 AI 行业日益普遍的高价数据许可交易,这些交易正威胁小型组织和学术机构继续开展 AI 研究的能力。

仇恨音乐生成器:恶意行为者正滥用 AI 音乐生成器创作恐同、种族主义及宣传性质歌曲,并发布指南指导他人操作。

Cohere 获现金注入:路透社报道,企业级生成式 AI 初创公司 Cohere 已从 Nvidia、Salesforce Ventures、Cisco 等投资者处筹集 4.5 亿美元,估值达 50 亿美元。知情人士透露,Oracle 和 Thomvest Ventures 也参与了本轮开放式融资。

本周研究论文

OpenAI 最近在官方博客突出介绍了 2023 年发表的论文《Let’s Verify Step by Step》。科学家称,通过对通用生成式 AI 模型 GPT-4 进行微调,使其在解决数学问题上取得超预期表现。合著者表示,该方法可能减少生成式模型失控情况,但也指出了注意事项。

论文详细介绍了如何训练奖励模型检测幻觉(即 GPT-4 事实或数学答案错误)。每当 GPT-4 正确解答某一步骤时,奖励模型便给予“奖励”,研究人员将此称为“过程监督”。

研究人员表示,相比之前的技术,过程监督提高了 GPT-4 在数学问题上的准确率。但他们承认这并不完美,GPT-4 仍会在某些步骤出错,且尚不清楚该方法能否推广到数学领域之外。

本周模型

预测天气关乎概率而非确定性。微软推出的新 Aurora 模型推动了 AI 天气预报的发展,提供分辨率约 ~0.1°(相当于约 10 平方公里)的全球级预测。

图片来源:Microsoft

Aurora 在超百万小时天气气候模拟数据上训练并经多任务微调,在多个数量级上优于传统数值预测系统。它在自己的游戏中击败了 Google DeepMind 的 GraphCast,提供了一到五天尺度上更准确的天气预测。

Google 和 Microsoft 等公司正通过提供个性化网页和搜索体验争夺在线注意力,准确高效的自有第一方天气预报将成为其中重要一环。

杂项

上月 Palladium 一篇文章中,Anthropic 首席幕僚 Avital Balwit 提出,因生成式 AI 快速进步,未来三年可能是她和许多知识工作者工作的最后时光。她认为这应是安慰而非恐惧,因为可能导致“人们物质需求得到满足但不再需要工作”的世界。Balwit 写道:“一位著名 AI 研究人员告诉我,他正通过从事柔术、冲浪等非擅长活动为转折点做准备,享受做事过程即使没有卓越表现。这就是我们为未来做好准备的方式——出于快乐而非需求做事,不再是最优秀但仍需选择如何度过日子。”

这当然是乐观的看法,但我无法表示赞同。

若生成式 AI 三年内取代大多数知识工作者(鉴于诸多未解决技术问题,这并不现实),经济崩溃可能随之而来。知识工作者构成劳动力很大部分且多为高收入消费者,推动着资本主义运转。

Balwit 提到了全民基本收入和其他大规模社会安全网项目。但我不太相信像美国这样连基本联邦级 AI 立法都难以管理的国家会很快采纳全民基本收入计划。

但愿我错了。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k