大数跨境

OpenAI的Foundry将允许客户购买专用算力以运行其AI模型

OpenAI的Foundry将允许客户购买专用算力以运行其AI模型 海外洞察
2023-02-21
2
导读:据报道,OpenAI 正在推出一款名为 Foundry 的新开发者平台,该平台将允许客户在其专属的计算基础设施上运行其模型。

OpenAI 正在悄然推出一款新的开发者平台,允许客户在其专用算力上运行该公司较新的机器学习模型(如 GPT-3.5)。在早期访问用户发布的文档截图中,OpenAI 将即将推出的名为 Foundry 的服务描述为“专为运行大规模工作流的尖端客户设计”。

据文档介绍:“Foundry 允许进行大规模推理,并完全控制模型配置和性能配置文件。”我们已联系 OpenAI 以确认其真实性。

如果截图可信,无论 Foundry 何时推出,它都将提供计算能力的“静态分配”(可能基于 OpenAI 首选的公共云平台 Azure),专供单一客户使用。用户能够使用与 OpenAI 构建和优化模型相同的工具和仪表板来监控特定实例。此外,Foundry 还将提供一定程度的版本控制,让客户自主决定是否升级到较新模型版本,并提供针对最新模型的“更强大”微调功能。

Foundry 还将为实例正常运行时间和日历内工程支持提供服务级别承诺(SLA)。租赁基于专用计算单元,提供三个月或一年的承诺期;运行单个模型实例需消耗特定数量的计算单元(见下图)。

实例成本并不低廉。运行 GPT-3.5 轻量版需承诺三个月支付 78,000 美元或一年支付 264,000 美元。作为参考,Nvidia 近期的一款超级计算机 DGX Station 每台售价高达 149,000 美元。

(GPT-3.5 Turbo 似乎是指 ChatGPT Turbo 模型)

眼尖的 Twitter 和 Reddit 用户发现,实例定价表中列出的一个文本生成模型具有 32k 的最大上下文窗口。(上下文窗口指模型在生成额外文本前所考虑的文段长度;更长的窗口使模型能“记住”更多文本。)OpenAI 最新的文本生成模型 GPT-3.5 最大上下文窗口仅为 4k,这表明该神秘新模型可能是期待已久的 GPT-4,或是通往 GPT-4 的过渡产品。

在获得微软数十亿美元投资后,OpenAI 面临巨大的盈利压力。据报道,该公司预计 2023 年实现 2 亿美元利润,但这与此前投入该初创公司的超 10 亿美元相比,不过是九牛一毛。

计算成本是主要负担。训练最先进的 AI 模型可能需要数百万美元,而运行它们的费用同样高昂。据 OpenAI 联合创始人兼 CEO Sam Altman 透露,运行 ChatGPT 每次聊天的成本为几分钱;考虑到截至去年 12 月 ChatGPT 拥有超百万用户,这并非小数目。

在推进货币化方面,OpenAI 最近推出了每月起价 20 美元的 ChatGPT Plus 专业版,并与微软合作开发了 Bing Chat,引发了主流关注。据 Semafor 和 The Information 报道,OpenAI 计划未来推出移动版 ChatGPT 应用,并将其 AI 语言技术整合到微软 Word、PowerPoint 和 Outlook 等应用中。

此外,OpenAI 继续通过面向企业的 Azure OpenAI Service 提供其技术,并维持与 GitHub 合作开发的高级代码生成服务 Copilot。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k