大数跨境

Databricks 花费 1000 万美元开发新的 DBRX 生成式 AI 模型

Databricks 花费 1000 万美元开发新的 DBRX 生成式 AI 模型 海外洞察
2024-03-27
0
导读:如果你希望提升自家大型科技公司的知名度,并且手握1000万美元的预算,你会如何花费这笔钱?是投放超级碗广告,还是赞助F1赛事?

如果你希望提升大型科技公司的知名度,且拥有1000万美元预算,你会如何花费?是投放超级碗广告、赞助F1赛事,还是用来训练生成式AI模型?

虽然训练模型不属于传统营销范畴,但生成式模型能有效吸引注意力,并日益成为供应商核心产品与服务的引流渠道。

Databricks发布开源模型DBRX

Databricks今日宣布推出新一代生成式AI模型DBRX,对标OpenAI GPT系列及Google Gemini。该模型已在GitHub和Hugging Face上线,支持研究及商业用途。其基础版(DBRX Base)与微调版(DBRX Instruct)均可在公开、自定义或专有数据上运行调整。

Databricks生成式AI副总裁Naveen Rao表示:“DBRX旨在提供广泛主题的有用信息。虽针对英语优化,但也支持法语、西班牙语、德语等多语言对话与翻译。”

Databricks将DBRX定义为“开源”模型,类似Meta Llama 2及Mistral模型。不过,关于此类模型是否真正符合开源定义,业界仍存激烈争论。

据悉,Databricks耗时约两个月、投入约1000万美元训练DBRX,并称其在标准基准测试中表现优于所有现有开源模型。

高昂的硬件门槛与使用限制

然而,除非是Databricks客户,否则普通用户极难部署DBRX。标准配置要求服务器至少配备4块Nvidia H100 GPU(或总显存达320GB的其他配置)。单块H100成本高达数千美元,这对独立开发者而言难以承受。

第三方云平台虽可运行,但硬件要求依然严苛(如Google Cloud仅特定实例集成H100),整体成本不菲。

此外,活跃用户超7亿的企业将面临使用限制,所有用户均需同意“负责任使用”条款。目前,Databricks尚未公布具体条款细节。

Mosaic AI:降低门槛的解决方案

为应对上述障碍,Databricks推出了Mosaic AI Foundation Model产品,除运行DBRX外,还提供基于自定义数据的微调训练栈。Rao建议客户通过Model Serving服务私有托管,或与Databricks合作在自有硬件上部署。

“我们致力于使Databricks平台成为定制模型构建的首选。DBRX展示了一流的预训练与微调能力,客户可借此从头构建模型。这是接入Mosaic AI工具的便捷入口,且DBRX开箱即用性能卓越,微调后性价比优于大型封闭模型。”

技术架构与性能对比

得益于混合专家(MoE)架构,DBRX运行速度比Llama 2快多达2倍。不同于多数MoE模型的8个专家,DBRX拥有16个专家,通过将任务分解委派给专业子模型来提升质量。

尽管在语言理解、编程及逻辑等基准测试中优于Llama 2和Mistral,但在大多数领域,DBRX仍不及行业标杆GPT-4。两者差异显著,直接比较或许并不恰当。需注意的是,DBRX面向企业受众且被标榜为“开源”,这与GPT-4定位不同。

同时,因运行成本高企、训练数据不透明且严格意义上非完全开源,DBRX仅在某种程度上接近旗舰模型水平。

局限性与潜在风险

Rao承认,DBRX与其他生成式AI一样存在“幻觉”风险。尽管进行了安全测试和红队演练,但由于模型本质是基于关联预测,回答未必总是准确。

此外,DBRX不具备多模态能力,仅能处理文本。训练数据来源方面,Rao透露使用了大量社区熟知的开放数据集,未使用任何客户数据,但未明确回应是否包含受版权保护内容或偏见数据,仅强调“对数据非常谨慎并进行了红队演练”。

对于商业用户而言,若模型复述了未经授权或有偏见的数据,可能引发法律与道德风险。目前,部分公司会提供侵权法律费用保障政策,而Databricks表示正在“探索”此类场景。

未来展望

鉴于当前不足及竞争对手的高性价比策略,DBRX除现有客户外较难推广。许多竞品更接近普遍认可的开源定义。

Rao承诺,Mosaic Labs团队将持续完善DBRX并发布新版本,包括提升可靠性、安全性及减少偏见的变体。“我们将开源模型视为平台,供客户利用我们的工具构建自定义功能,并推动行业以更高效方式构建模型。”

从现状来看,DBRX追赶顶尖同行仍有漫长道路要走。

注:本文已更正模型训练时长为两个月,并删除了关于Llama 2的错误引用,对此深表歉意。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14179
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读975
粉丝0
内容14.2k