现实世界训练数据告急，合成数据成AI发展新方向
埃隆·马斯克与其他人工智能专家一致认为，用于训练AI模型的现实世界数据已所剩无几。马斯克在周三与X平台Stagwell董事长马克·佩恩的直播对话中表示：“我们基本上已经耗尽了人类知识的总和……这基本发生在去年。”
拥有xAI公司的马斯克呼应了前OpenAI首席科学家伊利亚·苏茨克弗的观点。苏茨克弗曾在NeurIPS会议上指出，AI行业已达“数据峰值”，训练数据的匮乏将迫使开发方式发生变革。
马斯克强调，由AI模型自身生成的合成数据是未来关键。“补充现实世界数据的唯一方法是使用合成数据……AI将对自己进行评估并经历自我学习过程。”他说。
目前，微软、Meta、OpenAI和Anthropic等科技巨头已在利用合成数据训练旗舰级AI模型。Gartner估计，2024年用于AI和分析项目的数据中，60%为合成生成。
具体应用方面：
- 微软开源的Phi-4及Google的Gemma模型均由合成数据与真实数据共同训练；
- Anthropic使用合成数据开发了Claude 3.5 Sonnet；
- Meta使用AI生成数据对最新Llama系列模型进行了微调。
此外，合成数据还能显著节省成本。AI初创公司Writer称，其几乎完全使用合成数据开发的Palmyra X 004模型成本仅70万美元，而同等规模OpenAI模型的开发成本估计高达460万美元。
但合成数据也存在劣势。研究表明，它可能导致模型崩溃，使输出缺乏创造力且更具偏见。若训练数据本身存在局限，模型生成的合成数据也会受到类似污染，最终严重损害AI功能。