使AI模型更高效的最广泛使用的技术之一是量化，但该技术存在局限性——行业可能正迅速逼近这些极限。
在AI语境中，量化指的是降低表示信息所需的比特数（计算机能处理的最小单位）。打个比方：当有人问时间时，你大概会说“中午”——而不是“十二点零一分四毫秒”。这就是量化；两个答案都正确，但其中一个更精确。实际需要的精度取决于具体情境。
AI模型由多个可量化的组件构成——尤其是参数，即模型用于做出预测或决策的内部变量。考虑到模型运行时需进行数百万次计算，这一点十分便利。用较少比特表示其参数的量化模型在数学上要求更低，因此计算负担也更小。（需明确的是，这与“蒸馏”不同，后者是对参数进行更复杂且有选择性的剪枝。）
但量化可能比此前假设的具有更多的权衡取舍。
不断缩小的模型
根据哈佛大学、斯坦福大学、麻省理工学院、Databricks和卡内基梅隆大学研究人员的一项研究，如果原始未量化版本的模型是在大量数据上经过长时间训练的，那么量化模型的性能会较差。换句话说，在某个阶段，直接训练一个较小的模型可能比将大型模型压缩更好。
这对那些训练超大型模型（已知能提升回答质量）并试图通过量化来降低部署成本的AI公司来说，可能意味着坏消息。
这种影响已经显现。几个月前，开发者和学术界人士报告称，与其他模型相比，对Meta的Llama 3模型进行量化往往“更具破坏性”，这可能是由于其训练方式所致。
哈佛大学的数学系学生、该论文的第一作者Tanishq Kumar表示：“在我看来，对于所有AI从业者而言，推理成本目前且未来仍将是首要成本，而我们的工作表明，有一种重要的降低成本的方法将不再永远有效。”
与普遍看法相反，AI模型推理——运行模型，例如当ChatGPT回答问题时——从总体来看往往比模型训练更昂贵。例如，据报道，Google为其旗舰级Gemini模型之一的训练花费了约1.91亿美元——这确实是一笔巨款。但如果该公司使用一个模型仅为Google搜索查询的一半生成仅50个字的回答，其年支出将高达约60亿美元。
各大人工智能实验室都接受了在海量数据集上训练模型的做法，其假设是“扩大规模”——即增加训练所用的数据和计算资源——将带来能力越来越强的人工智能。
例如，Meta在15万亿个token的数据集上训练了Llama 3。（Tokens代表原始数据的片段；100万个token约等于75万个单词。）上一代Llama 2仅在“仅”2万亿个token上进行了训练。今年12月初，Meta发布了一款新模型Llama 3.3 70B，该公司表示该模型“以显著更低的成本提升了核心性能”。
证据表明，扩展规模最终会带来递减回报；Anthropic和Google据报道最近训练了庞大的模型，但未能达到内部基准测试的预期。然而，目前几乎没有迹象表明行业已准备好实质性地摆脱这些根深蒂固的扩展方法。
究竟有多精确？
那么，如果实验室不愿在较小的数据集上训练模型，是否有一种方法可以让模型对性能下降的敏感度降低？有可能。Kumar表示，他和合著者发现，以“低精度”训练模型可以提高模型的鲁棒性。请容我们稍作深入探讨。
这里的“精度”指的是数值数据类型能够准确表示的位数。数据类型是数据值的集合，通常由一组可能的值和允许的操作指定；例如，FP8数据类型仅使用8位来表示一个浮点数。
如今大多数模型都以16位或“半精度”进行训练，并在训练后量化为8位精度。某些模型组件（例如其参数）会被转换为更低精度的格式，代价是牺牲一定的准确性。这就像是在计算时保留几位小数，然后四舍五入到最近的十分之一，往往能兼顾两方面的优势。
像Nvidia这样的硬件厂商正在推动使用更低的精度来进行量化模型的推理。该公司最新的Blackwell芯片支持4位精度，具体是一种称为FP4的数据类型；Nvidia将此宣传为有助于缓解内存和功耗受限的数据中心的负担。
但极低的量化精度可能并不可取。根据Kumar的说法，除非原始模型的参数量极其庞大，否则低于7位或8位的精度可能会导致质量出现明显下降。
如果这一切听起来有点技术性，别担心——确实如此。但核心要点很简单：我们对人工智能模型的理解还不够全面，许多在其他计算中行之有效的捷径在这里并不适用。如果有人问你百米赛跑什么时候开始，你不会回答“中午”，对吧？当然，情况并没有那么简单，但道理是一样的：
Kumar总结道：“我们工作的关键点是，存在一些无法简单绕过的限制。”“我们希望我们的工作能为这场讨论增添细微差别，因为这场讨论往往一味追求训练和推理中越来越低的默认精度。”
Kumar承认，他和同事们的研究规模相对较小——他们计划在未来用更多的模型进行测试。但他相信至少有一个见解是成立的：在降低推理成本方面，没有免费的午餐。
他说：“比特精度很重要，而且并非没有代价。”“你不可能无限降低精度而不让模型受损。模型的容量是有限的，因此与其试图将一万亿个token塞进一个小模型，我认为未来会有更多精力投入到精细的数据筛选和过滤中，以便只有最高质量的数据被放入较小的模型。我乐观地认为，那些旨在使低精度训练稳定的新架构将在未来发挥重要作用。”
本文最初于2024年11月17日发布，并于12月23日更新了新信息。