大数跨境

在大型语言模型方面,你是应该自建还是采购?

在大型语言模型方面,你是应该自建还是采购? 海外洞察
2023-01-25
2
导读:企业如今正面临一个古老的商业问题——但在机器学习领域却完全新颖:是购买还是自主研发这项技术?

去年夏天堪称“AI之夏”,大型语言模型呈爆发式登场。基于海量数据训练的巨型神经网络展现出惊人能力,其中最具代表性的莫过于 OpenAI 的 GPT-3 及其后继者 ChatGPT。

各类企业正争相探索如何将新技术融入业务并创造价值。然而,OpenAI 的商业模式与其技术贡献一样具有变革性:与以往不同,其旗舰模型未开源预训练权重,机器学习团队无法直接下载并根据自身用例微调。

企业要么按原价使用现成模型,要么付费微调后以四倍价格部署。当然,企业仍可选择其他同类开源模型。

这引出了机器学习领域的一个新命题:是购买技术更好,还是自行构建更优?

此问题并无标准答案。本文旨在剖析两种路径的优劣,提供评估框架及融合两者优势的中间路线,助企业做出适合自身的决策。

购买:快速落地,但存在明显短板

市场上众多“模型即服务”(Model-as-a-Service)提供商通过 API 提供定制模型并按次收费。该模式启动快、可靠性高且前期资本支出低,有效降低了项目风险,对内部专业知识要求有限,仅需软件工程师即可推动。

项目无需资深机器学习人员即可启动,且因所购组件附带输出保证,结果具有合理可预测性。

但该模式缺陷显著,核心在于产品防御力弱。若竞争对手也能获取并集成相同模型,产品同质化将不可避免。除非能通过不可复制的数据收集在上游建立护城河,或通过集成优势在下游构筑壁垒。

此外,高吞吐量场景下规模化成本极高。以 OpenAI DaVinci 模型为例,每千 token 收费 0.02 美元。假设单次请求含 250 token 且响应大小相似,单次成本为 0.01 美元。日处理 10 万次请求的产品年费超 30 万美元,文本密集型应用成本更高。

灵活性也受限:直接使用现有模型或支付高昂费用微调。需注意,微调模型由提供商托管,企业将面临隐性“锁定”期。

构建:灵活且具防御性,但成本高、风险大

自建技术可规避上述挑战。“构建”通常指利用并微调开源基础模型,而非从头开发(尽管后者也有适用场景)。此举带来指数级灵活性,涵盖修改架构、通过蒸馏和量化降低推理延迟等。

虽然购买模型表现优异,但内部训练模型在特定任务或领域可实现显著性能提升。规模化部署时成本更低,且能打造强防御性产品,增加对手复制难度。

TikTok 推荐算法便是典型案例。尽管细节已在研究论文中公开,但其庞大 ML 团队至今未能成功复制并部署同等有效的系统。

然而,内部开发、部署和维护复杂 ML 系统需数据工程、机器学习和 DevOps 专家,人才稀缺且昂贵,前期投入巨大。

内部 ML 项目成功率难预测,估计仅约 20%,可能延长上市时间。

综上,“构建”长远看极具吸引力,但要求领导层具备高风险承受意愿及充足资金支持。

中间路线

平衡优缺点的中间方案主要有三种:

提示工程(Prompt Engineering):从购买入手,构建自定义输入模板替代部分微调。通过清晰示例或指令引导现成模型,形成中等程度防御性,同时保留购买优势。

开源替代骨干模型:寻找质量相近的开源模型作为基础进行构建。如 GPT-J 和 GPT-Neo 即为 GPT-3 的开源替代方案。此举降低前期成本和输出不确定性,同时保留构建灵活性。

闭源近似:训练内部模型以最小化其与 GPT-3 在终端输出或嵌入阶段的差异。短期利用 GPT-3,长期随内部系统成熟逐步过渡,实现缩短上市时间、成本优化及增强防御性的目标。

如何选择?可通过以下三问辅助决策:

你目前是否是一家 AI 企业?

若是,需通过构建维持防御性。

若否,先购买并通过提示工程适配用例。

若希望转型 AI 企业,应逐步规范数据存储、组建 ML 团队并识别可货币化用例。

你的用例是否有现成预训练模型可解决?

若能付费即用且无需大量额外工作,且上市时间是关键,建议直接购买。

构建过程不快速、简单或廉价。若用例无法创收或仅需内部使用,这一点尤为明显。

你是否面临请求延迟不可预测或极高的情况?

若是,尤其在消费者场景中,购买在经济上可能不可行。

请保持现实,尽可能量化请求延迟和购买成本。构建成本可能出乎意料地高昂,还需承担 ML 工程师薪资、工具链及托管费用。

希望以上内容能为你的 AI 之旅提供指引!

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k