Google Research与DeepMind团队联合推出VaultGemma，这是一款具备差分隐私（differential privacy）能力的十亿参数大语言模型。该模型基于Gemma架构构建，采用先进数学算法防止敏感数据泄露。
核心原理：差分隐私技术
差分隐私是一种在数据共享期间保护隐私的数学算法，通过向数据集添加受控噪声，确保单个数据的增删不会对整体结果产生显著影响，从而有效识别并隐藏特定信息。
尽管该技术长期应用于金融、医疗等强监管行业，但在大型语言模型（LLM）中的应用一直面临挑战，往往导致模型稳定性与效率的妥协。VaultGemma专为克服这一问题设计，能够在不损失性能的前提下应用差分隐私技术。
突破传统缩放定律
研究团队致力于消除差分隐私训练中“计算-隐私-效用”的权衡难题。当应用差分隐私时，因噪声增加和批次变大，传统AI性能缩放定律会失效。为此，团队设计了新型缩放定律，支持开发更大、更强的专用大语言模型，潜在参数量可达万亿级。
性能表现与安全特性
- 零记忆训练：从零开始采用差分隐私框架训练，确保不记住或泄露敏感数据，对金融、医疗等行业至关重要。
- 基准测试优异：在MMLU和Big-Bench等测试中，VaultGemma在不牺牲隐私的情况下，性能媲美同量级非隐私LLM，远超以往差分隐私模型。
- 任务能力全面：在推理和问题解答等任务上与非隐私Gemma模型相当，同时彻底消除训练数据泄露风险。
开源发布与行业意义
针对差分隐私导致的计算成本增加问题，研究人员已找到多种降本方案。目前，VaultGemma的权重和代码库已在Hugging Face和Kaggle以开源许可证形式发布。随着企业数据隐私关注度提升，VaultGemma为安全AI创新提供了新的解决方案。