Meta近日发布博客文章，宣布推出基于文本描述的AI视频生成工具Make-A-Video。该工具是Meta自7月启动的AI图像生成研究的延伸成果。
通过Make-A-Video，用户不仅可通过文字描述生成视频，还能为单张图片添加动态效果，或在两张图片间生成连贯的动态叙事。此外，该工具支持为原始视频生成变体。但需注意，目前生成的视频清晰度较低，数秒片段仅如画面一闪而过。
技术原理
Make-A-Video系统通过匹配的文图数据学习词汇的视觉表征及非文本元素在视频中的呈现方式。其开发充分利用了WebVid-10M和HD-VILA-100M数据集，这些数据集包含匹配文图、未标注视频素材及Shutterstock等平台的视频内容。
该项目是Make-A-Scene的延续版本，相关技术细节已在研究论文中详细阐述。
当前局限与挑战
除画面短且模糊外，该技术仍面临多项挑战。在训练层面，AI难以像人类一样从视频中提取语义信息，例如无法准确识别手部摇晃的方向（左移或右移）。
功能上，Make-A-Video目前无法生成长于5秒的视频，也不支持多场景、多事件的复杂叙事。生成视频分辨率为64×64像素（16帧），需借助其他AI模型才能提升至768×768像素。
值得注意的是，清华大学与北京人工智能研究院（BAAI）也已发布同类研究成果CogVideo。随着DALL-E、Midjourney等工具持续引发艺术创作领域的讨论，基于文本描述的AI视频工具必将成为其中重要一环。