Meta拟构建数十万亿参数推荐模型：是技术前瞻还是营销话术？
Meta近日发布公告，宣称正筹备构建一套行为分析系统，其规模将比ChatGPT、GPT-4等当前最大大型语言模型大出“几个数量级”。这一声明旨在提升内容推荐算法的透明度，但同时也引发了新的疑问。
透明度更新与多模态AI应用
Meta定期通过解释算法原理来履行透明度承诺。此次除了发布说明AI具体应用的“系统卡片”外，还概述了所用AI模型。例如，为精准推荐视频内容，模型需区分视觉重叠的轮滑曲棍球与轮滑德比。
作为多模态AI研究的活跃组织，Meta结合视觉、听觉等多源数据以深化内容理解。尽管这些模型鲜少公开，但常被内部用于优化针对目标受众的“相关性”推荐，部分研究人员亦可获准访问。
“数十万亿参数”：理论潜力与现实差距
为了深入理解并建模人们的偏好，我们的推荐模型可以拥有数十万亿个参数——比当今使用的一些最大语言模型还要大几个数量级。
经核实，该规模目前仍属理论范畴。Meta澄清称：“我们相信推荐模型有潜力达到数十万亿参数。”这如同宣称汉堡“可以”重达16盎司，实则仅为四分之一磅。不过，公司明确表示目标是确保超大规模模型能高效训练并规模化部署。
虽然Meta未确认是否正在积极开发此类模型，但其前瞻性意图明确。我们虽不能视其为已存在实体，但可将其视为极有可能正在推进的研发目标。
海量数据驱动下的模型必要性
所谓“理解和建模人们偏好”，本质是对用户行为的深度分析。鉴于数以亿计的内容及其复杂元数据（如关注Patagonia的用户倾向向WWF捐款或购买高端喂鸟器），基于海量数据训练的庞大模型并不意外。
然而，若其规模真比现有最大模型大出“几个数量级”，则另当别论。尽管GPT-4确切参数量未公开且业界认为参数量并非性能唯一指标，但即便Meta有所夸大，该量级依然令人瞩目。
试想一个规模空前的AI模型，输入端是你所有的平台行为，输出端则是对你未来喜好的预测，这种能力难免让人感到不安。
对标TikTok与技术营销的双重目的
TikTok凭借精准的推荐流构建了社交帝国，令竞争对手艳羡。Meta显然试图通过展示技术实力来说服广告商：
这些系统利用超大规模注意力模型、图神经网络、少样本学习等技术来理解人们的行为偏好。最近的关键创新包括一种新颖的分层深度神经检索架构，使我们能够在不增加推理延迟的情况下显著超越各种最先进的基线；以及一种新的集成架构，该架构利用异构交互模块来更好地建模与人们兴趣相关的因素。
这段专业术语并非面向普通用户或早已知情的研究者，而是为了让质疑广告投放效果的广告商感到“目眩”，从而确信Meta在AI研究领域的领先地位及其对用户兴趣的精准捕捉能力。
数据显示，如今Facebook和Instagram信息流中超过20%的内容由AI推荐，且源自用户未关注的账号。这在一定程度上证明了AI推荐的有效性。
反思：精准广告背后的商业逻辑
这一切揭示了Meta、Google等公司以广告销售为核心的驱动力。尽管用户对激增且隐蔽的广告日益反感，企业仍不断强调精准定向的价值。
Meta宁愿暗中观察用户浏览雨衣的行为并次日推送广告，也不愿直接询问用户偏好。整个互联网建立在精准广告的集体信念之上，而最新技术正被用来支撑这一模式，以应对更审慎的广告支出环境。
或许，只有宣称需要十万亿参数的模型来洞察人心，才能为背后十亿美元的训练投入提供合理化辩护。