OpenAI的ChatGPT令人惊叹的能力离不开大型语言模型，这些模型在数十亿甚至数万亿文本示例上进行训练，其核心理念是让ChatGPT对语言的理解达到如此程度，以至于能在瞬间预测出下一个最合理的词，而这需要大量的训练、计算资源以及开发者的专业知识才能实现。
但也许这些模型的未来方向会更加聚焦，而不是像我们看到的 OpenAI 和其他公司采用的“全面铺开”（boil-the-ocean）方法——后者希望回答所有可能的问题。如果每个行业甚至每家公司都拥有自己的模型，专门训练来理解该实体的行话、语言和工作方式呢？或许这样一来，完全捏造的答案会减少，因为答案将来自一个更有限的词汇和短语范围。
在人工智能驱动的未来，每家公司的自有数据可能成为其最有价值的资产。如果你是保险公司，你的术语体系与医院、汽车公司或律师事务所完全不同；而当你将这种专业术语与客户数据以及组织内的全部内容库结合起来时，你就拥有了一个语言模型。虽然它可能不像真正的大型语言模型那样庞大，但它正是你所需要的模型——为单一实体量身定制，而非面向大众。
这还需要一套工具，以可被这些小规模大型语言模型（sLLMs）处理的方式收集、聚合并持续更新企业数据集。
构建这些模型可能会带来挑战。它们可能会利用开源方案或私有公司现有的 LLM，然后针对行业或公司数据进行微调，使其更加聚焦，并在比通用 LLM 更安全的环境中进行操作。
这对初创社区来说是一个巨大的机遇，我们看到许多公司已经在此想法上领先一步。
生成式 AI 的垂直化实践
生成式 AI 初创公司 Writer 的联合创始人兼首席执行官 May Habib 表示，这正是他们公司正在努力做的事情：为每位客户定制模型，适应他们的用语和工作方式。她表示，公司将采取“高度垂直化”的方式进入市场，这应能产生更准确且更具针对性的内容。
"我们本质上是在构建‘最后一公里’，使他们能够使用基于其数据和过往撰写内容的 LLM。[这是] 他们的信息，以及我们在检索层放入模型中的所有东西，" Habib 最近在接受 TechCrunch+ 采访时说道。
她表示，这涉及在基础 Writer 产品之下的一种产品机制，基本上是将大型语言模型的“洪水般”输出转化为对每位个体客户更聚焦、更有用的形式。她说：“我们与客户的沟通方式是，这就像在大型语言模型之上运行小型语言模型。”
你好，多莉
Databricks 主要因是一家估值极高的热门初创公司而闻名，该公司正在构建云数据湖仓架构，最近发布了一个名为 Dolly 的小规模大型语言模型（sLLM），其命名灵感来自第一只克隆羊（而非同名音乐剧），该模型基于一个两年前的旧模型。你可能会问，为什么要在一个本身几乎只会产生垃圾输出的旧模型基础上构建它？据公司 CEO Ali Ghodsi 称，原因如下。
这是因为他们在更小、更专注的数据语料库上训练该模型，并得出了公司声称更准确且聚焦的答案，“底层模型Dolly仅有60亿个参数，而GPT-3有1750亿个参数，且已有两年历史，因此它能如此出色地运行尤为令人惊讶，这表明像ChatGPT这样的最先进模型的定性提升可能更多归功于专注于指令跟随的训练数据语料库，而非更大或调优更好的基础模型”，该公司在宣布Dolly可用的博客文章中写道。
该公司声称，这种方法的美妙之处在于，它仅在一台机器上耗时三小时就训练出了 Dolly，成本仅为30美元，而训练 ChatGPT 的成本可能高达数十万至数百万美元。
您的成本可能会因数据集的大小而异，但核心理念是将数据输入 Dolly，然后让它发挥作用，以理解您公司特定的数据并以类似 ChatGPT 的方式回答问题，同时确保您的数据保持私密。
"地球上每家公司都拥有一套与其[组织]相关的信息库。可能是[客户]互动、客户服务；也可能是文档；或者是他们多年来发布的材料。而 ChatGPT 并不具备所有这些内容，也无法处理所有这些内容。"
Ghodsi 表示："通过 Dolly，您可以实际训练模型以理解并专注于您的数据集，并且您可以保留这些数据。您无需将其分享给全世界。这是您的专有信息，可用于在与同行业其他竞争对手的竞争中占据优势。"
在思考未来如何使用这些数据时，这一点至关重要。Habib 对她的客户也提出了同样的观点：他们不仅希望获得来自 ChatGPT 的那种令人惊叹的效果，还希望 AI 能够以安全的方式针对他们的数据实现实际应用。
我们接下来能走向何方？
随着重点逐渐从模型转向数据，初创公司和成熟企业继续构建相关工具，最大的挑战将在于如何处理信息，并将其转化为模型可以使用且能持续更新的格式。
思科（Cisco）执行副总裁兼安全与协作部门总经理 Jeetu Patel 认为，未来未必是 sLLMs 的天下，但肯定涉及将贵公司的数据输入某种现有的 LLM。
他明确表示："每家公司将拥有基于其定制数据集进行的推理，这实际上会赋予他们独一无二的竞争优势，这是其他人无法复制的。但这并不意味着每家公司都需要构建大型语言模型。它要求的是[公司利用]已经存在的语言模型。"
他预见了一个未来，即公司将使用比 ChatGPT 更具体的模型，并输入自己的数据，这与 Databricks 正在用 Dolly 做的事情如出一辙。
他说："我认为差异将体现在，会有一些像 ChatGPT 那样的通用 AI 模型，同时也会有专门针对特定公司的模型。"
以他自己的公司为例，Patel 建议，未来你只需通过语音询问，就能与 Cisco 的应用程序（如 WebEx）交互，并获得当天所有会议的摘要。作为安全主管，他深知这种方法必须内置严格的权限控制，但这提供了一个可能的场景：此类应用程序可以非常实际地部署在特定公司的产品和服务之上。
这一切进展得如此迅速，速度之快使得很难对这项技术明天或下周的发展方向做出任何明确预测，但有一种观点认为，为了在企业环境中发挥作用，模型必须足够灵活以处理用于模型训练的公司专有数据，如果情况确实如此，未来可能会涉及更小且更聚焦的模型。