大数跨境

谷歌推出两款新的开源大语言模型

谷歌推出两款新的开源大语言模型 海外洞察
2024-02-21
0
导读:在发布其最新一代 Gemini 模型仅一周后,谷歌今日宣布推出 Gemma,一个全新的轻量级模型系列

在推出最新一代 Gemini 模型不到一周后,Google 今日宣布推出 Gemma。这是一个全新的轻量级开放权重模型系列,以 Gemma 2B 和 Gemma 7B 为首。这些新模型“受 Gemini 启发”,可供商业和研究用途使用。

Google 未提供关于这些模型与 Meta、Mistral 等类似模型性能对比的详细论文,仅指出其处于“最先进水平”。不过,该公司提到这些是仅解码器的密集模型,架构与 Gemini 及早期 PaLM 模型相同。相关基准测试结果将于今日稍晚在 Hugging Face 排行榜上公布。

要开始使用 Gemma,开发者可获取现成的 Colab 和 Kaggle 笔记本,以及与 Hugging Face、MaxText 和 Nvidia NeMo 的集成。完成预训练和调整后,这些模型即可在任何地方运行。

Gemma 并非开源,而是“开放模型”

虽然 Google 强调这些是开放模型,但值得注意的是它们并非开源。在今天的公告前举行的新闻简报会上,Google 的 Jeanine Banks 强调了公司对开源的承诺,但也指出 Google 在如何称呼 Gemma 模型方面非常谨慎。

Banks 表示:“[开放模型] 如今在行业中已相当普遍。它通常指的是开放权重模型,即开发者和研究人员可以广泛访问以定制和微调模型;但同时,使用条款——例如重新分发以及所开发变体的所有权——会根据模型各自的具体使用条款而有所不同。因此,我们看到了传统意义上的开源与我们所称之间的差异,并决定将我们的 Gemma 模型称为开放模型更为合适。”

这意味着开发者可以自由使用该模型进行推理和微调,Google 团队认为这些模型尺寸非常适合许多用例。

小模型实现高质量生成,本地部署更便捷

Google DeepMind 产品管理总监 Tris Warkentin 表示:“过去一年的生成质量有了显著提升。以前需要超大型模型才能完成的任务,现在可以通过最先进的较小模型实现。这为我们带来了开发 AI 应用的完全新方法,我们对此感到非常兴奋,包括能够在本地开发人员桌面或笔记本电脑上使用 RTX GPU 进行推理和微调,或者在 GCP 的单台主机上使用 Cloud TPUs。”

Google 在该领域的竞争对手的开放模型也是如此,Gemma 模型在实际场景中的表现仍有待观察。

配套工具助力安全开发

除了新模型外,Google 还发布了一个新的负责任生成式 AI 工具包,旨在提供“指导和基本工具,以便使用 Gemma 创建更安全的 AI 应用”,以及一个调试工具。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k