
继上周发布Gemini 1.5 Pro模型后,Google进一步向开发者开放了更多Gemini模型。此次,Google推出了两款受Gemini启发的轻量级(lightweight)开源大语言模型:Gemma 2B和Gemma 7B,面向商业及研究用途开放。“轻量级”意味着开发者可在笔记本电脑或台式机上直接运行这些模型。
Gemma模型详情
Gemma采用纯解码器(decoder-only)架构,与Gemini及此前的PaLM模型一致。相比Meta的Llama 2,Gemma展现出更高性能;其与Mistral类模型的对比文档预计将很快在Hugging Face上公布。
除Colab和Kaggle外,开发者还可通过Hugging Face、MaxText及Nvidia NeMo等集成环境使用Gemma。据悉,该模型具备广泛的部署灵活性,但需先完成预训练与微调设置。
需注意,“开源模型”(open-source models)与“开放模型”(open models)存在细微差别。开放模型允许开发者和研究人员广泛访问并进行定制化微调,但其使用条款依具体条件而定,重新分发权及衍生变体所有权不受开源软件同等规范约束。在此框架下,开发者不仅可进行推理,还可按需自由微调。
Gemma模型不仅性能强大,且在训练中高度重视安全性。Google已采用自动技术从训练数据中移除个人信息,并计划未来针对多种应用场景推出更多Gemma变体。

