AI 仅由另一台 AI 生成的数据进行训练是否可行？这听起来可能有些异想天开，但随着真实数据获取难度增加，该做法正逐渐受到青睐。
Anthropic 使用合成数据训练了 Claude 3.5 Sonnet；Meta 利用 AI 生成数据微调 Llama 3.1；OpenAI 也被曝从推理模型 o1 中提取合成数据用于即将推出的 Orion。那么，AI 为何需要数据？这些数据真的能被合成数据替代吗？
标注的重要性
人工智能本质是统计机器，通过海量示例学习模式以做出预测。标注（通常为标记数据含义的文本）是关键组成部分，充当“路标”教导模型区分事物与概念。
例如照片分类模型，通过大量标有“厨房”的图片建立特征联系，训练后便能识别新图片中的厨房。若标注错误（如将厨房标为“牛”），模型也会学错，这凸显了高质量标注的重要性。
AI 发展推动了标注服务市场扩张。Dimension Market Research 估计当前市场规模为 8.382 亿美元，未来十年将增至 103.4 亿美元。尽管缺乏精确人数估算，但 2022 年报告显示从业者达“数百万”人。
企业依赖标注员工创建标签。部分需专业知识的工作报酬可观，但发展中国家标注员平均时薪仅数美元，且无福利保障。
枯竭的数据井
出于人文关怀及现实考量，行业寻求替代人工方案。Uber 正扩大零工车队从事 AI 标注，但人类标注存在速度上限、偏见风险、易出错及成本高昂等问题。
数据本身也日益昂贵。Shutterstock 向 AI 供应商收取数千万美元访问费，Reddit 通过授权数据获利数亿美元。
此外，数据获取愈发困难。因担心抄袭或缺乏署名，超 35% 的全球前 1000 网站已屏蔽 OpenAI 爬虫。研究显示，主要训练数据集中约 25% 的高质量来源已被限制访问。Epoch AI 预测，若趋势持续，2026 至 2032 年间开发人员或将耗尽训练数据。加之版权诉讼及不当内容风险，迫使 AI 供应商重新审视策略。
合成替代方案
合成数据看似完美解决方案：按需生成、潜力无限。华盛顿大学 Os Keyes 将其比作“生物燃料”，可从少量起始数据模拟推导新条目。
行业已大力推行此概念。Writer 推出的 Palmyra X 004 模型几乎全用合成数据训练，成本仅 70 万美元，远低于同类 OpenAI 模型的 460 万美元。微软 Phi、Google Gemma 均部分采用合成数据；Nvidia 发布生成合成数据的模型系列；Hugging Face 发布了据称最大的合成文本数据集。
Gartner 预测，今年 AI 项目中 60% 的数据将是合成生成，该业务到 2030 年价值或达 23.4 亿美元。
Allen Institute for AI 科学家 Luca Soldaini 指出，合成数据可生成难以抓取的格式。如 Meta 训练 Movie Gen 时，用 Llama 3 为视频片段生成字幕再由人类细化；OpenAI 用合成数据微调 GPT-4o 构建 Canvas 功能；Amazon 生成合成数据补充 Alexa 训练。
合成风险
合成数据并非万能药，同样存在“垃圾进，垃圾出”问题。若基础数据有偏见或局限，输出也会被污染，代表性不足的群体在合成数据中依然匮乏。
莱斯大学和斯坦福大学研究发现，过度依赖合成数据会导致模型质量或多样性下降。采样偏差经几代训练后会恶化多样性，混入少量真实数据虽可缓解但无法根除。
Keyes 担忧复杂模型（如 o1）可能在合成数据中产生难被发现的幻觉，降低后续模型准确性。“复杂模型会产生幻觉，由其生成的数据包含幻觉，开发者甚至难以解释伪影来源。”
幻觉累积可能导致模型输出胡言乱语。《自然》杂志研究揭示，错误数据训练的模型会生成更多带错误的数据，形成反馈循环导致退化。随着世代更替，模型对晦涩知识掌握能力丧失，变得通用且常答非所问。
后续研究表明，图像生成器等模型也无法避免此类崩溃：
Soldaini 强调，未经处理的原始合成数据不可信。安全使用需彻底审查、策展和过滤，并最好与新真实数据配对。否则可能导致模型崩溃，输出更具偏见且缺乏创意。
“研究人员必须检查生成数据，迭代优化过程并设立保障措施。合成数据流水线并非自我改进机器，输出用于训练前须经仔细检查和改进。”
尽管 Sam Altman 辩称 AI 终能生产足够好的合成数据实现自我训练，但目前该技术尚不存在，尚无主流实验室发布过纯合成数据训练的模型。至少在可预见的未来，仍需保留人类监督以确保训练不出错。