大数跨境

Stability AI 发布类 ChatGPT 语言模型

Stability AI 发布类 ChatGPT 语言模型 海外洞察
2023-04-19
0
导读:Stability AI 发布了一套类似 ChatGPT 的语言模型,能够生成代码、讲笑话等。

Stability AI,这家生成式AI艺术工具 Stable Diffusion 的初创公司,今日开源了一套文本生成AI模型,旨在与 OpenAI 的 GPT-4 等系统正面竞争。

该模型名为 StableLM,已在 GitHub 和 Hugging Face(托管AI模型和代码的平台)上以“alpha”版本发布。Stability AI 表示,这些模型能够生成代码和文本,“展示了小型高效模型在适当训练下如何实现高性能。”

“语言模型将成为我们数字经济的支柱,我们希望每个人都能在设计中发声,”Stability AI 团队在公司网站的博客文章中写道。

这些模型基于名为 The Pile 的数据集训练,该数据集混合了来自 PubMed、StackExchange 和 Wikipedia 等网站的互联网抓取文本样本。但 Stability AI 声称,他们创建了一个自定义训练集,将标准 Pile 的大小扩大了3倍。

图片来源: Stability AI

Stability AI 并未说明 StableLM 是否存在与其他模型相同的局限性,即倾向于对某些提示生成有害回应或产生幻觉(捏造事实)。但鉴于 The Pile 包含粗俗、淫秽及其他尖锐语言,若确实如此也不令人惊讶。

记者在 Hugging Face 上测试这些模型时(该平台提供前端界面,无需从头配置代码即可运行),每次都遇到“容量已满”的错误,这可能与模型规模或其受欢迎程度有关。

Stability AI 在 StableLM 代码库中指出:“与任何未经额外微调及强化学习的预训练大型语言模型一样,用户获得的回复质量可能参差不齐,并可能包含冒犯性语言和观点。”该公司表示,“随着规模扩大、数据质量提升、社区反馈以及优化,这种情况有望得到改善。”

尽管如此,StableLM 模型在实现特定任务方面似乎相当有能力——尤其是 alpha 版本中包含的微调版本。这些模型使用斯坦福大学开发的 Alpaca 技术,在包括 AI 初创公司 Anthropic 在内的开源数据集上进行了微调。微调后的 StableLM 表现类似 ChatGPT,能够响应指令(有时带有幽默感),例如“为软件开发者撰写求职信”或“为一场史诗级说唱对决歌曲创作歌词”。

开源文本生成模型的数量几乎每天都在增长,各大公司和小型企业都在争夺日益有利可图的生成式 AI 领域的关注度。过去一年中,Meta、Nvidia 以及由 Hugging Face 支持的 BigScience 等独立项目发布了模型,其性能大致可与通过 API 提供的 GPT-4 和 Anthropic 的 Claude 等“私有”模型相媲美。

过去,一些研究人员曾批评发布类似 StableLM 的开源模型,认为它们可能被用于创建钓鱼邮件或协助恶意软件攻击等不光彩目的。但 Stability AI 辩称,开源才是正确的做法。

Stability AI 在博客文章中写道:“我们开源模型是为了促进透明度和建立信任。研究人员可以‘打开天窗看亮天’,以验证性能、研究可解释性技术、识别潜在风险并帮助制定安全措施。”“对我们模型开放且细粒度的访问,使得广泛的研究和学术界能够开发出闭源模型无法实现的可解释性和安全技术。”

图片来源: Stability AI

这话或许不无道理。即使是像 GPT-4 这样受到严格管控、商业化的模型,虽设有过滤机制和人工审核团队,也被证实会输出有害内容。不过话又说回来,开源模型在后端进行微调和维护需要投入更多精力——尤其是如果开发人员没有跟上最新更新的步伐。

无论如何,Stability AI 历史上从未回避过争议。

该公司正面临多起诉讼案件,指控其通过利用网络抓取的受版权保护图片开发 AI 艺术工具,侵犯了数百万艺术家的权利。此外,网络上的一些社区还利用 Stability 的工具生成色情名人深度伪造视频以及暴力内容的图像。

尽管其博客文章带有慈善语调,Stability AI 也面临着将其广泛业务变现的压力——其业务范围涵盖从艺术和动画到生物医学和生成式音频等多个领域。Stability AI 首席执行官 Emad Mostaque 曾暗示有上市计划,但 Semafor 最近报道称,Stability AI——去年十月以超过 10 亿美元的估值筹集了超过 1 亿美元的风险投资——“正在快速消耗现金,且收入增长缓慢。”

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k