
Meta发布V-JEPA模型:从视频中学习世界
Meta AI研究人员发布了视频联合嵌入预测架构(V-JEPA)。该模型不同于当前主流大语言模型,其核心能力在于直接从视频中学习而非文本。尽管训练范式相似,但这种视觉学习机制带来了显著差异。
核心原理与“世界模型”构建
Meta FAIR团队负责人Yann LeCun指出,若在视频图像上应用掩码技术,AI的学习效率将大幅提升。V-JEPA并非生成式模型,而是致力于构建内部概念的“世界模型”。它通过处理未标记视频,在屏幕局部变暗的数秒内推断缺失内容;经预训练后,已成功识别并理解物体间复杂的交互关系。
这一理念可追溯至两年前,Meta AI负责人Jérôme Pesenti与Joelle Pineau曾提出用于增强现实眼镜的“世界模型”构想,旨在以视听方式理解外部环境并快速适应用户特征。
迈向通用人工智能的关键一步
LeCun认为,现有大语言模型(LLM)缺乏图像与声音学习能力,这延缓了向通用人工智能(AGI)的演进。作为下一步计划,Meta将为V-JEPA引入音频维度以丰富数据输入。目前,该模型已在Creative Commons非商业许可下开源,供研究人员测试验证。

