本文解析模型蒸馏的工作原理、战略意义,以及围绕从闭源专有模型中提取能力所引发的关键争议事实。
图中为 Anthropic 标志(路透社摄于 2024 年 5 月 20 日)。
北京讯:一项能将高性能人工智能模型压缩为低成本、高效率系统的技术——“模型蒸馏”,正成为中美人工智能主导权博弈的新焦点。该技术利用强大 AI 系统的输出训练小型模型,使其以更少计算资源完成特定任务。
作为 AI 研究的常规工具,模型蒸馏如今因涉及未经许可迁移高级 AI 能力而备受争议。美方及头部 AI 企业指责中国竞争对手利用该技术窃取专有模型能力,开辟了技术对抗的新战线。
什么是模型蒸馏?
前沿超大型 AI 模型的训练需耗费巨额算力、数据与资金。模型蒸馏提供了一种构建小型系统的路径:利用大型“教师模型”生成的回答、代码等样例,训练体积更小的“学生模型”。
学生模型并非教师模型的复制品,不继承其权重、架构及全部能力,而是学习部分选定行为模式,从而更高效地执行特定任务。
模型蒸馏的战略价值
蒸馏技术的核心优势在于降低 AI 使用成本并简化部署。前沿模型通常依赖大型数据中心与昂贵芯片,而蒸馏后的模型可在性能较弱的硬件上运行,并针对特定任务进行定制优化。这对于希望在各类设备、工厂、汽车及私有网络中大规模部署 AI 的企业和政府极具吸引力。
推理轨迹的关键意义
随着新一代 AI 系统的发展,业界不仅关注最终答案的迁移,更重视“推理轨迹”(即得出答案的推导步骤)的获取。这些轨迹能教会小模型处理复杂难题的逻辑,而非仅输出结果。
苏黎世联邦理工学院机器学习安全助理教授弗洛里安·特拉默将此比作人类学习:仅有答案的习题集远不如包含详尽推导过程的教学资料有效。随着推理轨迹价值攀升,AI 模型的输出内容日益敏感,因其可能泄露高级系统解决复杂问题的核心方法。
主要应用主体
模型蒸馏本身是广泛应用的合法训练技术。美国科研机构与企业早已涉足,如斯坦福大学的 Alpaca 项目和微软的 Orca 研究,均利用更强模型的输出优化小型模型。中国科研人员也在公开项目中利用美国模型输出研发中文指令大模型。
核心区别在于数据获取途径:开放权重模型允许查看和修改底层参数;而 OpenAI 的 ChatGPT、Anthropic 的 Claude 等闭源模型,控制权归企业所有,通常仅能通过专属接口或 API 调用。
中美争议的焦点
争议核心不在于技术本身,而在于未经授权的数据提取行为。AI 企业强调,合法研究与系统性爬取专有模型输出以复刻商业价值能力存在本质区别。
Anthropic 指控深度求索(DeepSeek)、月之暗面(Moonshot)与稀宇科技(MiniMax)等中国主体大规模窃取 Claude 模型的软件工程及高级推理能力。OpenAI 亦表示监测到中方主体利用其模型进行相关蒸馏活动。截至目前,尚无中国企业指控美国对手对闭源模型实施类似操作。

