Pruna AI是一家致力于AI模型压缩算法的欧洲初创公司，将于周四将其优化框架开源。
Pruna AI 正在构建一个框架，将缓存、剪枝、量化和蒸馏等多种效率优化方法应用于给定的 AI 模型。
“我们还标准化了压缩模型的保存与加载过程，支持这些压缩方法的组合应用，并在压缩后对您的模型进行评估，” Pruna AI 联合创始人兼首席技术官 John Rachwan 表示。
特别是，Pruna AI 的框架能够评估模型压缩后是否存在显著的质量损失，以及您所能获得的性能提升。
“如果打个比方，我们类似于 Hugging Face 在标准化 transformers 和 diffusers 方面所做的工作——如何调用它们、保存它们、加载它们等。我们正在做同样的事情，但针对的是效率优化方法。”他补充道。
大型 AI 实验室早已在使用各种压缩方法。例如，OpenAI 一直依赖蒸馏技术来创建其旗舰模型的更快版本。
这很可能是OpenAI开发GPT-4 Turbo（GPT-4的更快版本）的方式；同样，Flux.1-schnell图像生成模型是Black Forest Labs的Flux.1模型的蒸馏版本。
蒸馏是一种用于从大型 AI 模型中提取知识的技术，采用“教师-学生”模型架构。开发者向教师模型发送请求并记录输出结果。答案有时会与数据集进行比较以评估其准确性。随后，这些输出结果被用来训练学生模型，该模型旨在近似模拟教师模型的行为。
“对于大公司来说，他们通常的做法是自行内部开发这些工具。而在开源世界中，你找到的通常是基于单一方法的技术。例如，针对大语言模型（LLMs）的一种量化方法，或针对扩散模型的一种缓存方法，” Rachwan 说。“但你找不到一种工具能将所有这些方法整合在一起，使它们易于使用且可以相互组合。这正是 Pruna 目前带来的核心价值。”
虽然 Pruna AI 支持各类模型，包括大语言模型、扩散模型、语音转文本模型和计算机视觉模型，但该公司目前更专注于图像和视频生成模型。
Pruna AI的一些现有用户包括Scenario和PhotoRoom；除开源版外，Pruna AI还提供具有高级优化功能（包括优化代理）的企业版服务。
“我们即将发布的最令人兴奋的功能将是一个压缩代理（compression agent），” Rachwan 说。“基本上，你只需提供你的模型，并说明：‘我想要更高的速度，但准确率下降不要超过 2%。’然后，这个代理就会施展它的魔力。它会为你找到最佳组合，并将结果返回给你。作为开发者，你无需进行任何额外操作。”
Pruna AI 的专业版按小时收费。“这就像你在 AWS 或其他云服务上租用 GPU 时的计费方式一样，” Rachwan 说。
如果你的模型是你 AI 基础设施中的关键组成部分，那么通过使用优化后的模型，你将最终在推理环节节省大量资金。例如，Pruna AI 利用其压缩框架，在不造成过多质量损失的情况下，将一个 Llama 模型缩小了八倍。Pruna AI 希望客户将其压缩框架视为一项能够自我回本的投资。
Pruna AI 几个月前完成了 650 万美元的种子轮融资。该初创企业的投资者包括 EQT Ventures、Daphni、Motier Ventures 和 Kima Ventures。