大数跨境

Meta推出新模型V-JEPA:从视频而非文本中学习

Meta推出新模型V-JEPA:从视频而非文本中学习 土耳其小莫
2024-02-16
2
导读:V-JEPA 不是从文本中学习,而是从视频中学习。Meta 的目标是构建能够像人类一样学习的先进人工智能。

Meta发布V-JEPA模型:从视频中学习世界

Meta AI研究人员发布了视频联合嵌入预测架构(V-JEPA)。该模型不同于当前主流大语言模型,其核心能力在于直接从视频中学习而非文本。尽管训练范式相似,但这种视觉学习机制带来了显著差异。

核心原理与“世界模型”构建

Meta FAIR团队负责人Yann LeCun指出,若在视频图像上应用掩码技术,AI的学习效率将大幅提升。V-JEPA并非生成式模型,而是致力于构建内部概念的“世界模型”。它通过处理未标记视频,在屏幕局部变暗的数秒内推断缺失内容;经预训练后,已成功识别并理解物体间复杂的交互关系。

这一理念可追溯至两年前,Meta AI负责人Jérôme Pesenti与Joelle Pineau曾提出用于增强现实眼镜的“世界模型”构想,旨在以视听方式理解外部环境并快速适应用户特征。

迈向通用人工智能的关键一步

LeCun认为,现有大语言模型(LLM)缺乏图像与声音学习能力,这延缓了向通用人工智能(AGI)的演进。作为下一步计划,Meta将为V-JEPA引入音频维度以丰富数据输入。目前,该模型已在Creative Commons非商业许可下开源,供研究人员测试验证。

【声明】内容源于网络
0
0
土耳其小莫
小莫带你了解土耳其电商,探索AI应用
内容 26498
粉丝 0
土耳其小莫 小莫带你了解土耳其电商,探索AI应用
总阅读242
粉丝0
内容26.5k