大数跨境

Hugging Face 仅用两人团队开发类 ChatGPT 的 AI 模型

Hugging Face 仅用两人团队开发类 ChatGPT 的 AI 模型 海外洞察
2023-11-08
1
导读:Hugging Face 最近成立了一个名为 H4 的团队,专门致力于构建开源的类 ChatGPT AI 模型。

AI初创公司Hugging Face提供广泛的数据科学托管和开发工具,包括类似GitHub的门户(用于托管AI代码仓库、模型和数据集)以及演示AI应用的Web仪表板。

如今,Hugging Face最令人印象深刻的工具之一,来自一支今年1月才成立的双人团队——H4(即“helpful, honest, harmless and huggy”缩写)。该团队旨在开发工具和“配方”,助力AI社区构建类ChatGPT聊天机器人;据成员Lewis Tunstall介绍,ChatGPT的发布正是H4成立的催化剂。

研究重点:对齐技术与开源模型

Tunstall表示:“2022年底OpenAI发布ChatGPT后,我们开始探讨如何利用开源库和模型复制其能力。”H4的核心研究方向是对齐(alignment),即教导大型语言模型(LLMs)根据人类或其他AI反馈进行表现。

H4主导了多个开源大模型的开发:

  • Zephyr-7B-α:Mistral 7B模型的微调版,专为聊天场景优化;
  • Falcon-40B改进版:基于阿布扎比技术创新研究所模型分叉修改,提升自然语言响应效率。

研发资源与协作模式

为训练模型,H4依赖超1,000块Nvidia A100 GPU组成的专用集群。Tunstall与同事Ed Beeching虽在欧洲远程办公,但获得了Hugging Face内部多团队(含模型测试评估团队)的支持。

Beeching指出:“小团队规模是刻意为之,以保持对研究格局变化的灵活性。我们与LMSYS、LlamaIndex等外部团体有合作项目并共同发布成果。”

开源手册与技术赋能

近期,H4专注于研究不同对齐技术并构建测试工具。本月发布的操作手册包含了Zephyr的全部源代码和数据集,未来将随新模型发布持续更新。

针对商业化压力问题,Tunstall坦言H4未直接将其工具商业化,但这些工具已被纳入面向企业客户的“专家加速计划”(Expert Acceleration Program),用于指导定制化AI解决方案构建。

对于竞争关系,Beeching强调H4无意与EleutherAI、LAION等开源倡议竞争,而是通过公开训练代码和数据集“赋能”社区:“若无众多贡献者,我们的工作无法实现。”

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14179
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读975
粉丝0
内容14.2k