由微软联合创始人保罗·艾伦（Paul Allen）创立的非营利人工智能研究机构AI2（Allen Institute for AI），正发布多款生成式AI语言模型。这些模型名为OLMo（Open Language Models缩写），以及用于训练它们的Dolma数据集——同类中最大的公共数据集之一。据AI2高级软件工程师Dirk Groeneveld介绍，该项目旨在研究文本生成AI背后的基础科学，其许可方式允许开发者不受限制地用于训练、实验甚至商业化。
Groeneveld在邮件采访中表示：“在[文本生成模型]方面，‘开放’是一个被过度使用的术语。”他预计研究人员和从业者会将OLMo框架视为一个机会，以分析在一个迄今为止发布的最大公共数据集上训练的模型，以及构建模型所需的所有组件。
尽管从Meta到Mistral等组织都在发布高度强大的开源文本生成模型供开发者使用和微调，但Groeneveld指出，许多模型实际上不能被视为真正的“开放”，因为它们是在“闭门造车”的情况下，使用专有且不透明的数据集进行训练的。
相比之下，OLMo模型是在包括哈佛大学、AMD和Databricks在内的合作伙伴帮助下创建的，随附了用于生成训练数据的代码，以及训练和评估指标及日志。
在性能方面，Groeneveld断言最强大的OLMo 7B是Meta Llama 2的一个“有吸引力且强大”的替代品，但这取决于具体应用。在某些基准测试中，特别是在涉及阅读理解的部分，OLMo 7B略胜Llama 2一筹；但在其他测试中，特别是问答测试中，则稍逊一筹。
OLMo模型还存在其他局限性，例如在非英语语言（Dolma主要包含英语内容）下的输出质量较低，以及代码生成能力较弱。但Groeneveld强调目前仍处于早期阶段：“OLMo并非为多语言设计——至少目前不是。虽然在此阶段，OLMo框架的主要重点并非代码生成，但为了给未来的基于代码的微调项目提供先发优势，OLMo的数据混合中目前包含了约15%的代码。”
针对OLMo模型可能被不良行为者以非预期甚至恶意方式利用的担忧，尤其是考虑到这些模型可用于商业用途且在Nvidia 3090等消费级GPU上即可运行。近期Democracy Reporting International的Disinfo Radar项目研究发现，Hugging Face的Zephyr和Databricks的Dolly等流行开源模型能可靠地生成有毒内容。对此，Groeneveld认为最终益处大于危害。
他表示：“[构建这个开放平台]实际上将促进更多关于这些模型如何产生危险以及我们能做些什么来修复它们的研究。是的，开放模型可能会被不当使用或用于非预期目的，但这种方法也促进了推动更道德模型的技术进步；它是验证和可复现性的先决条件，因为只有通过访问完整堆栈才能实现这两点；并有助于减少日益集中的权力，创造更公平的访问机会。”
未来几个月，AI2计划发布更大、能力更强的OLMo模型，包括多模态模型（即理解除文本之外的其他模态的模型），以及用于训练和微调的其他数据集。与最初的OLMo和Dolma发布一样，所有资源将在GitHub和AI项目托管平台Hugging Face上免费提供。