经过一年多的规划与训练，一个由志愿者主导的项目成功开发出开源语言模型 Bloom。该模型据称性能媲美 OpenAI 的 GPT-3，且免费开放供具备计算能力的用户使用。Bloom 连同其代码和数据集均以开源形式发布。总部位于布鲁克林的 AI 初创公司 Hugging Face 还推出了免费 Web 应用，用户无需下载即可在线试用。
Bloom 是 BigScience 项目的成果。这是一个社区驱动的国际项目，旨在推动大型自然语言模型（LLM）在研究领域的普及。LLM 能够翻译、总结并以类人风格撰写文本，但以往因创建成本高昂而难以触及，长期被 Meta、Google 和 Microsoft 等科技巨头垄断。
BigScience 汇聚了超 1,000 名志愿者研究人员，并得到伦理学家、哲学家、法律学者及工程师的支持。他们耗时数月开发的 Bloom，规模可与 OpenAI 和 DeepMind 的 LLM 相媲美，是目前最大的开源多语言模型之一，适用于从历史文献提取信息等多种研究场景。
据发布前分享的博客文章介绍：“Bloom 能生成 46 种自然语言和方言以及 13 种编程语言的文本。”尽管未针对特定任务训练，Bloom 仍可执行摘要、翻译、代码生成及原创任务（如编写食谱、提取新闻信息或造句）。随着实验推进，其性能将持续提升。
支持者希望 Bloom 能激发针对 LLM 偏见和毒性问题的研究。现有 LLM 常出现胡言乱语，并对宗教、性别、种族及残障人士表现出偏见；同时在写作逻辑上存在困难，易出现话题突变、重复甚至自相矛盾的情况。
谦逊的开端
BigScience 源于 Hugging Face 首席科学官 Thomas Wolf、GENCI 的 Stéphane Requena 和 IDRIS 的 Pierre-François Lavallée 多年前的讨论。创始人设想通过创建软件、数据集、LLM 和工具，探索人工智能的社会影响。
随后成立的指导委员会为来自 60 多个国家、250 多个机构的成员提供建议，设计协作任务并组织活动。不同工作组分别负责数据治理、数学定理证明、隐私保护及法律问题等挑战。
Bloom 是其核心成果，利用价值 700 万美元的公共资助计算资源，在法国巴黎附近的 Jean Zay 超级计算机上完成训练。
针对 AI 训练的碳排放争议，BigScience 表示得益于 Jean Zay 独特的冷却系统和核能电源，训练 Bloom 的碳足迹仅相当于一次巴黎至纽约航班的排放量。
作为预测单词的统计工具，Bloom 通过摄入 1.6 TB 训练数据学习单词出现概率。例如，面对以“Looking forward…”结尾的邮件，它能补全为“… to hearing back.”。
为解决非英语 LLM 表现不佳的问题，BigScience 收集了涵盖书籍、学术出版物、播客及网站等的 3,410 亿词数据集，编码了斯瓦希里语、加泰罗尼亚语等多语种多元文化语境。
团队从 500 个来源手工挑选了近三分之二数据，并向 Masakhane、LatinX in AI 等社区征求意见。出于隐私考虑进行了脱敏处理，并过滤了低质内容以减少性别歧视关联。
虽然 Bloom 并非完全无偏见，但透明的训练数据有助于研究人员追溯其预测和决策的根本原因。
规模庞大
Bloom 拥有 1,760 亿参数，大小与 GPT-3 相当。参数越多通常意味着模型有效性越高，但也需要更多计算力。
AI21 Labs 2020 年研究估计，开发 15 亿参数模型需耗资 160 万美元；而 Bloom 使用 384 块 Nvidia A100 GPU 训练了三个月。相比之下，微软和英伟达拥有的 5,300 亿参数 MT-NLG 模型对社区而言极难获取。
BigScience 称，研究人员可在云端以每小时不到 40 美元的成本使用 Bloom。为进一步降低门槛，该组织计划发布更小版本，开发分布式系统以便实验室共享模型，并正在开发 API。
Bloom 加入了蓬勃发展的开源高性能 LLM 生态。此前 EleutherAI 发布了 GPT-NeoX-20B，Meta 也开源了 OPT-175B。这些模型已被广泛利用，但也引发了滥用担忧。研究发现 LLM 可能生成足以欺骗专家的虚假新闻和网络安全报告，或在医疗心理等领域提供有害建议。
不同于 OpenAI 等公司通过 API 提供过滤保护，开源模型缺乏此类措施。因此，Bloom 附带了说明能力和局限性的文档，使用者需签署许可协议承诺不用于恶意目的。BigScience 将监控应用情况并适时调整许可。
博客文章指出：“我们计划增加更多语言，使模型更小以便在同等性能下更易使用，并支持社区扩展。Bloom 是一个不断发展的模型家族，而非一次性完成的模型。”