大数跨境

泄露的谷歌备忘录承认败给开源AI

泄露的谷歌备忘录承认败给开源AI 搜索引擎报
2023-05-05
0
导读:泄露的备忘录承认谷歌无法与开源AI竞争,并提出了一种令人惊讶的策略以重夺主导地位

一份泄露的谷歌内部备忘录深刻剖析了公司在开源AI浪潮中失利的根源,并提出重返主导地位的战略路径。备忘录明确指出,谷歌真正的竞争对手并非OpenAI,而是开源社区。面对开源技术的快速迭代与低成本优势,谷歌承认在传统大模型军备竞赛中已无胜算,亟需调整战略以应对挑战。

无法与开源竞争:速度与成本的全面落后

备忘录坦承,谷歌在争夺AI主导权的斗争中处于劣势。尽管其模型质量仍略占上风,但差距正迅速缩小。开源模型凭借更快的迭代速度、更强的可定制性、更高的隐私保护以及更优的性价比,正在大幅领先。

“我们一直在密切关注OpenAI,但不容回避的事实是,在这场军备竞赛中我们并无胜算。第三方势力正悄然蚕食我们的地盘,他们正在大幅领先。我们认为的‘重大开放问题’如今已被解决并交到人们手中。”

数据显示,开源社区仅用100美元和13B参数即可实现谷歌花费1000万美元和540B参数都难以达成的效果,且耗时从数月缩短至数周。这种效率上的代差令谷歌深感焦虑。

大模型规模优势不再:技术壁垒被迅速瓦解

备忘录指出,庞大的模型规模已从核心优势转变为沉重负担。自2023年3月Meta的LLaMA模型泄露以来,开源社区在极短时间内复刻了指令微调、RLHF(基于人类反馈的强化学习)等关键技术模块。这些曾被视为闭源巨头护城河的技术,如今已被全球开发者以极低成本掌握。

  • 指令微调:使语言模型具备执行特定任务的能力,无需从头训练。
  • RLHF:通过人类评分优化模型输出,使其更符合人类偏好,是ChatGPT等模型的核心技术。

这意味着谷歌和OpenAI耗费巨资构建的技术壁垒正在失效,对AI的控制权面临迅速终结的风险。

开源生态的爆发式创新与扩展能力

开源运动的扩展能力远超闭源体系。以Dolly 2.0为例,其高质量问答数据集由数千名志愿者创建,内容深度优于从公共论坛抓取的数据。相比之下,谷歌和OpenAI仍依赖网络爬取数据。

“3月初LLaMA泄露后,社区立即理解了其重要性。短短一个月内,带有指令微调、量化、多模态及RLHF的变体层出不穷。最重要的是,他们解决了扩展性问题,训练门槛已从大型研究机构降低到‘一个人、一个晚上和一台高性能笔记本’。”

这种去中心化的创新模式使得新想法源源不断,普通开发者也能参与前沿调试,彻底改变了AI研发的格局。

历史重演:Stable Diffusion超越DALL-E的警示

备忘录引用了图像生成领域的先例作为预警。OpenAI于2021年发布DALL-E,而开源模型Stable Diffusion在2022年8月发布后仅三周,搜索热度便反超前者。此后,Stable Diffusion关注度呈指数级增长,而DALL-E则陷入停滞。

这一趋势表明,开源模型在发布初期可能稍逊一筹,但凭借社区力量能迅速实现反超。若类似剧本在文本生成领域重演,将对Bard及整个闭源AI生态构成生存威胁。

开发流程变革:LoRA等技术重塑成本结构

LoRA(低秩适应)等新技术的出现,使得在几天内以极低成本微调出媲美顶级大模型的LLM成为可能。开源工程师可在前人基础上持续迭代,避免了闭源厂商“推倒重来”的高昂沉没成本。

“从头训练巨型模型不仅浪费预训练成果,还丢弃了后续迭代改进。在开源世界,这些改进很快占据主导,使得全面重新训练成本极高。就工程师工时而言,开源模型的进步速度远超我们使用最大变体所能达到的水平。”

这印证了萨姆·奥特曼关于“大规模LLM时代结束”的观点。在全球协作面前,闭源系统的单打独斗已成为“必输的局面”。

战略转向:加入开源以掌控平台

面对困境,备忘录提出的唯一可行出路是“打不过就加入”。正如谷歌通过Chrome和Android主导平台一样,未来应通过在开源基础上发布项目来确立领导地位。Meta发布LLaMA供研究使用并获得海量免费贡献的案例,被视为成功范本。

“Google应在开源社区中确立领导地位,通过合作引领潮流。这可能意味着发布小型ULM变体的模型权重,放弃部分控制权。但我们既不能指望推动创新,又试图控制它。这种妥协是不可避免的。”

如同普罗米修斯盗火的神话隐喻,开源正在夺取AI的火种。这份备忘录证实了谷歌的认知转变:唯有拥抱开源,吸纳并主导社区生态,才能在未来的AI竞争中找到立足之地。

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 2933
粉丝 0
搜索引擎报 搜索引擎时报
总阅读3.4k
粉丝0
内容2.9k