曾经，全能且高度通用的生成式 AI 模型是行业焦点，而且可以说至今仍是如此。但随着大大小小的云厂商纷纷加入生成式 AI 的角逐，我们正看到一批新的模型将目光锁定在财力最雄厚的潜在客户身上：企业客户。
例如：Snowflake这家云计算公司今天发布了 Arctic LLM，这是一款被描述为“企业级”的生成式 AI 模型。Arctic LLM 采用 Apache 2.0 许可证发布，据 Snowflake 称，它针对包括生成数据库代码在内的“企业工作负载”进行了优化，并且对研究和商业用途免费开放。
首席执行官Sridhar Ramaswamy在新闻发布会上表示：“我认为这将成为基础，使我们——Snowflake——以及我们的客户能够构建企业级产品，并真正开始实现AI的承诺和价值。”“你应该将此举视为我们在生成式AI领域的第一个但也是重大的一步，未来还会有更多进展。”
企业级模型
我的同事Devin Coldewey最近撰文指出，生成式AI模型的浪潮似乎永无止境；我建议你阅读他的文章，其要点是：模型是供应商为其研发制造兴奋感的简便方式，同时也作为通向其产品生态系统（例如模型托管、微调等）的漏斗。
Arctic LLM也不例外，它是Snowflake旗舰模型名为Arctic的生成式AI模型家族的一员；Arctic LLM耗时约三个月、使用1,000个GPU和花费200万美元进行训练，紧随Databricks推出的DBRX之后发布，后者也是一款主打优化企业空间的生成式AI模型。
Snowflake在其新闻材料中将Arctic LLM与DBRX进行直接比较，称Arctic LLM在编码（Snowflake未指定具体编程语言）和SQL生成这两项任务上优于DBRX；该公司还表示，Arctic LLM在这些任务上也优于Meta的Llama 2 70B（但不如更新近的Llama 3 70B）以及Mistral的Mixtral-8x7B。
Snowflake还声称，Arctic LLM在流行的通用语言理解基准测试MMLU上取得了“领先性能”；不过我要指出，尽管MMLU旨在评估生成式模型通过逻辑推理解决问题的能力，但它包含的测试可以通过死记硬背来解决，因此对此点请持保留态度。
Snowflake 的 AI 负责人 Baris Gultekin 在接受 TechCrunch 采访时说：“Arctic LLM 解决了企业部门内的特定需求，与写诗等通用 AI 应用不同，它专注于面向企业的挑战，例如开发 SQL 辅助工具和高质量聊天机器人。”
与 DBRX 和 Google 当前表现最佳的生成式模型 Gemini 1.5 Pro 一样，Arctic LLM 采用了混合专家（MoE）架构。MoE 架构基本上是将数据处理任务分解为子任务，然后将其委派给更小、更专业的“专家”模型。因此，尽管 Arctic LLM 包含 4800 亿个参数，但它一次只激活 170 亿个——足以驱动 128 个独立的专家模型。（参数本质上定义了 AI 模型在分析问题或生成文本等方面的能力。）
Snowflake声称，这种高效的设计使其能够以“类似模型成本的大约八分之一”在公开的网络数据集（包括RefinedWeb、C4、RedPajama和StarCoder）上训练Arctic LLM。
随处运行
Snowflake 提供了代码模板和训练来源列表等资源，配合 Arctic LLM 一起发布，以指导用户完成模型的部署和针对特定用例的微调过程。但考虑到这对大多数开发者来说可能是昂贵且复杂的工程（微调或运行 Arctic LLM 大约需要八块 GPU），Snowflake 还承诺将在一系列平台上提供 Arctic LLM，包括 Hugging Face、Microsoft Azure、Together AI 的模型托管服务以及企业生成式 AI 平台 Lamini。
然而关键在于：Arctic LLM 将首先 首先 在 Cortex 上可用，这是 Snowflake 用于构建由 AI 和机器学习驱动的应用和服务的平台。该公司毫不意外地将其宣传为运行 Arctic LLM 的首选方式，强调其具备“安全性”、“治理”能力和可扩展性。
拉马斯瓦米表示："我们的梦想是在一年内拥有一个 API，让我们的客户能够使用它，使业务用户可以直接与数据进行对话。" "我们本可以轻易地说，'哦，我们只需等待某个开源模型并使用它。'相反，我们正在做出基础性投资，因为我们认为这将为客户解锁更多价值。"
因此我不禁要问：除了 Snowflake 的客户之外，Arctic LLM 究竟是为谁准备的？
在一个充斥着可针对几乎任何目的进行微调的“开放”生成式模型的格局中，Arctic LLM 并没有在任何明显方面脱颖而出。其架构可能会比市场上其他一些选项带来效率提升。但我不相信这种提升会足够显著，足以让企业远离无数其他知名、受支持且对商业友好的生成式模型（例如 GPT-4）。
此外，还有一个不利于 Arctic LLM 的因素需要考虑：其相对较小的上下文窗口。
在生成式 AI 中，上下文窗口指的是模型在生成输出（例如更多文本）之前所考虑的输入数据（例如文本）。上下文窗口较小的模型容易忘记甚至非常近期的对话内容，而具有较大上下文窗口的模型通常能避免这一缺陷。
Arctic LLM 的上下文窗口大约在 8,000 到 24,000 个单词之间，具体取决于微调方法——远低于 Anthropic 的 Claude 3 Opus 和 Google 的 Gemini 1.5 Pro 等模型的上下文容量。
Snowflake 在营销中并未提及这一点，但 Arctic LLM 几乎肯定与其他生成式 AI 模型一样，存在相同的局限性和缺点——即 幻觉（自信地错误回答请求）。这是因为 Arctic LLM 以及现存的所有其他生成式 AI 模型都是统计概率机——它们同样具有较小的上下文窗口。它们基于海量示例来猜测哪些数据在何处放置最符合“逻辑”（例如在句子“我去市场”中，“去”字放在“市场”之前）。它不可避免地会猜错——这就是一种“幻觉”。
正如 Devin 在其文章中所写，在下一个重大技术突破到来之前，生成式 AI 领域所能期待的只有渐进式的改进。尽管如此，Snowflake 等厂商仍会大力宣扬这些进步为重大成就，并不遗余力地进行营销推广。