越来越多地，AI行业正朝着具有更长上下文的生成式AI模型发展。但具有大上下文窗口的模型往往计算密集。Or Dagan是AI初创公司 AI21 Labs的产品负责人指出，情况并非如此——他的公司正在发布一款生成式模型来证明这一点。
上下文（或上下文窗口）指的是模型在生成输出（更多文本）之前所考虑的输入数据（例如文本）。上下文窗口较小的模型往往会忘记甚至非常近期的对话内容，而上下文较大的模型则避免了这一缺陷——并且作为额外的好处，它们能更好地把握所接收数据的流程。
AI21 Labs的Jamba是一款新的文本生成和分析模型，它可以执行许多与OpenAI的 ChatGPT 和Google的 Gemini 等模型相同的任务。Jamba使用公共数据和专有数据的混合数据进行训练，可以用英语、法语、西班牙语和葡萄牙语撰写文本。
Jamba可以在单块至少拥有80GB内存的GPU（如高端Nvidia A100）上运行，处理多达140,000个token。这相当于大约105,000个单词，或210页——相当于一本中等大小的小说。
Meta的 Llama 2相比之下，其上下文窗口约为4,000个token——按当今标准来说属于较小范围——但只需一块约12GB内存的GPU即可运行。（上下文窗口通常以token为单位进行衡量，token是原始文本和其他数据片段。）
乍看之下，Jamba并不引人注目。市面上存在大量免费可用、可下载的生成式AI模型，从 Databricks最近发布的DBRX 到上述提到的Llama 2。
但 Jamba 的独特之处在于其底层架构。它结合了两种模型架构：Transformer 和状态空间模型（SSM）。
Transformer 是复杂推理任务的首选架构，为诸如 GPT-4 和 Google 的 Gemini 等模型提供动力。 GPT-4 以及 Google 的 Gemini 等模型为例。它们具有多种独特特性，但 Transformer 最显著的特征是其“注意力机制”。对于每一段输入数据（例如一个句子），Transformer 会评估其他所有输入（其他句子）的相关性，并从中提取信息以生成输出（一个新句子）。 评估 其他所有输入（其他句子）的相关性，并从中提取信息以生成输出（一个新句子）。
另一方面，SSM 结合了较旧类型 AI 模型（如循环神经网络和卷积神经网络）的多种优点，创造出一种计算效率更高、能够处理长序列数据的架构。
目前，SSM 仍存在一些局限性。但一些早期版本，包括由普林斯顿大学和卡内基梅隆大学研究人员开发的开源模型 Mamba，能够比基于 Transformer 的等效模型处理更大的输入量，并在语言生成任务中表现更优。
事实上，Jamba 将 Mamba 作为核心模型的一部分——Dagan 声称，与同等规模的基于 Transformer 的模型相比，它在长上下文场景下的吞吐量高出三倍。
Dagan 在接受 TechCrunch 采访时说：“虽然目前只有少数几个 SSM 模型的学术示例，但这是第一个商业级、生产规模的模型。”“这种架构不仅具有创新性，对社区进一步研究也颇具意义，还带来了巨大的效率和吞吐量潜力。”
尽管 Jamba 已根据 Apache 2.0 许可证发布，这是一种使用限制相对较少且属于开源的许可证，但 Dagan 强调，这是一次研究性发布，并非旨在用于商业用途。该模型缺乏防止生成有害文本的安全措施，也没有缓解潜在偏见的机制；几周后将提供一个经过微调、据称“更安全”的版本。
但 Dagan 坚称，即使在早期阶段，Jamba 也展示了 SSM 架构的潜力。
他说：“该模型的附加价值在于，由于其规模和创新的架构，它可以轻松地适配到单个 GPU 上。”“我们相信，随着 Mamba 获得进一步优化，其性能还将进一步提升。”