在典型年份中，Cloud Next——谷歌两大年度开发者大会之一（另一场为I/O）——几乎 exclusively 展示托管式及其他闭源、需通过锁定API才能访问的产品和服务；但今年，无论是为了培养开发者好感还是推进其生态系统野心（或两者兼有），谷歌都推出了一系列主要旨在支持生成式AI项目和基础设施的开源工具。
第一款，MaxDiffusion，谷歌实际上在二月悄然发布了它。这是一系列各种扩散模型的参考实现——例如图像生成器 Stable Diffusion ——这些模型可在 XLA 设备上运行。“XLA”代表加速线性代数（Accelerated Linear Algebra），这是一个 admittedly awkward 的缩写，指的是一种优化并加速特定类型 AI 工作负载的技术，包括微调和服务。
谷歌自己的张量处理单元（TPUs）是XLA设备，最近的Nvidia GPU也是。
除了 MaxDiffusion，谷歌正在推出 JetStream，这是一款用于运行生成式 AI 模型的新引擎——特别是文本生成模型（因此不包括 Stable Diffusion）。目前仅限于支持 TPU，据称未来将兼容 GPU。谷歌声称，对于像谷歌自家的 Gemma 7B 和 Meta 的 Llama 2 这样的模型，JetStream 可提供高达 3 倍的“每美元性能”。
谷歌云计算和机器学习基础设施总经理Mark Lohmeyer在与TechCrunch共享的一篇博客文章中写道：“随着客户将其AI工作负载投入生产，对能够提供高性能且成本效益高的推理栈的需求日益增加。”“JetStream有助于满足这一需求……并包含针对Llama 2和Gemma等流行开源模型的优化。”
现在，“3 倍”的提升是一个相当大的说法，而且谷歌究竟是如何得出这个数字的并不完全清楚。使用的是哪一代 TPU？与哪个基线引擎相比？此外，“性能”在这里究竟是如何定义的？
我已经向谷歌提出了所有这些问题，如果收到回复，我会更新这篇文章。
在谷歌开源贡献列表的倒数第二项是新增的 MaxText，这是谷歌面向云端TPU和Nvidia GPU的文本生成AI模型集合。MaxText现在包括Gemma 7B、OpenAI的 GPT-3 （ GPT-4）的前身）、 Llama 2 以及来自AI初创公司 Mistral 的模型——谷歌表示所有这些模型都可以根据开发者的需求进行定制和微调。
Lohmeyer说：“我们已大幅优化了这些模型在TPU上的性能，并与Nvidia密切合作以优化大型GPU集群上的性能。”“这些改进最大限度地提高了GPU和TPU的利用率，从而带来更高的能源效率和成本优化。”
最后，谷歌与AI初创公司Hugging Face合作创建了 Optimum TPU，它提供了将某些AI工作负载引入TPU的工具。根据谷歌的说法，其目标是降低将生成式AI模型部署到TPU硬件上的门槛，特别是文本生成模型。
但目前，Optimum TPU的功能还比较基础。它唯一支持的模型是Gemma 7B。而且Optimum TPU目前还不支持在TPU上训练生成式模型——仅支持运行它们。
谷歌承诺未来会进行改进。