不甘落后于 Meta 的 Make-A-Video，Google 今日详细介绍了其 Imagen Video 项目。这是一个 AI 系统，能够根据文本提示（例如“一只泰迪熊在洗碗”）生成视频片段。尽管结果尚不完美——生成的循环片段往往存在伪影和噪声——但 Google 声称，Imagen Video 是迈向具有“高度可控性”和世界知识（包括以多种艺术风格生成影片的能力）的系统迈出的重要一步。
正如我的同事 Devin Coldewey 在其关于 Make-A-Video 的文章中指出的那样，文生视频技术并非新鲜事物。今年早些时候，来自清华大学和北京人工智能研究院的一组研究人员发布了 CogVideo，它能够将文本转换为质量相当高的短片。然而，Imagen Video 似乎比之前的最先进模型有了显著飞跃，展现出对现有系统难以理解的标题进行动画处理的能力。
阿尔伯塔大学研究人工智能和机器学习的助理教授马修·古兹迪亚尔（Matthew Guzdial）通过电子邮件表示：“这确实是一种改进。从视频示例中可以看出，尽管传播团队选择了最佳输出结果，但仍存在奇怪的模糊感和人工痕迹。因此，这项技术短期内不会直接用于动画或电视制作。但它或类似的技术完全可以嵌入到工具中，以加快某些工作流程。”
Imagen Video 建立在 Google 的 Imagen 基础之上，后者是一个可与 OpenAI 的 DALL-E 2 和 Stable Diffusion 相媲美的图像生成系统。Imagen 是一种所谓的“扩散”模型，通过学习如何“破坏”和“恢复”大量现有数据样本来生成新数据（例如视频）。随着模型接收这些现有样本，它在恢复之前为创作新作品而破坏的数据方面变得愈发熟练。
正如 Imagen Video 背后的 Google 研究团队在一份论文中所解释的那样，该系统接受文本描述并生成一个分辨率为 24×48 像素、每秒 3 帧、共 16 帧的视频。随后，系统会对额外帧进行上采样和“预测”，最终生成一个分辨率为 720p（1280×768）、每秒 24 帧、共 128 帧的视频。
谷歌表示，Imagen Video 是在 1400 万个视频-文本对、6000 万个图像-文本对以及公开可用的 LAION-400M 图像-文本数据集上训练而成的，这使得它能够泛化到多种美学风格。（巧合的是，LAION 的一部分也被用于训练 Stable Diffusion。）在实验中，他们发现 Imagen Video 能够创作出梵高绘画和水彩画风格的视频。更令人印象深刻的是，他们声称 Imagen Video 展现了对深度和三维空间的理解，使其能够生成如无人机穿越镜头般的视频，围绕物体旋转并从不同角度捕捉画面，而不会造成扭曲。
与当今可用的图像生成系统相比，Imagen Video 的一项重大改进是能够正确渲染文字。虽然 Stable Diffusion 和 DALL-E 2 在将诸如“‘Diffusion’的标志”这样的提示词转化为可读字体时都面临困难，但根据论文显示，Imagen Video 却能毫无问题地将其渲染出来。
这并不是说 Imagen Video 没有局限性。正如 Make-A-Video 的情况一样，即使是经过精心挑选的 Imagen Video 片段，也存在抖动和部分失真现象，正如古兹迪亚尔所暗示的那样，物体以物理上不自然——甚至不可能的方式融合在一起。
Guzdial 继续表示：“总体而言，文生视频的问题仍未解决，我们不太可能很快达到 DALL-E 2 或 Midjourney 那样的质量水平。”
为了改进这一状况，Imagen Video 团队计划与 Phenaki 的研究人员联手。Phenaki 是今天发布的另一个 Google 文生视频系统，能够将长而详细的提示转化为两分钟以上的视频——尽管质量较低。
值得揭开 Phenaki 的神秘面纱，看看两个团队的合作可能带来怎样的成果。虽然 Imagen Video 专注于质量，但 Phenaki 则优先考虑连贯性和时长。该系统可以将长达段落的提示词转化为任意长度的影片，内容涵盖一个人骑摩托车的场景，到一艘外星飞船飞越未来城市的画面。Phenaki 生成的片段也出现了与 Imagen Video 相同的故障，但令我惊叹的是，它们与提示它们的冗长且细致的文字描述高度契合。
例如，以下是输入给 Phenaki 的一个提示词：
未来主义城市中交通繁忙。一艘外星飞船抵达这座未来主义城市。镜头进入外星飞船内部。镜头向前移动，直到显示出一名身穿蓝色服装的宇航员。宇航员正在键盘上打字。镜头从宇航员处拉远。宇航员离开键盘并向左走去。宇航员离开键盘并走开。镜头越过宇航员，看向屏幕。宇航员身后的屏幕上显示着海中游动的鱼。快速推近至一条蓝色的鱼。我们跟随这条蓝色的鱼在黑暗的海洋中游动。镜头透过水面指向天空。海洋与未来主义城市的海岸线。快速推近至一座未来主义的摩天大楼。镜头放大到众多窗户中的一扇。我们身处一间办公室，里面空无一人的办公桌。一只狮子在办公桌上奔跑。镜头推近至办公室内狮子的面部。镜头拉远，显示穿着深色西装的狮子站在办公室里。穿西装的狮子看着镜头并微笑。镜头缓慢拉远至摩天大楼的外部。现代城市日落的延时摄影。
以下是生成的视频：
回到 Imagen Video，研究人员还指出，用于训练系统的数据包含有问题的内容，这可能导致 Imagen Video 生成具有图形暴力或色情内容的片段。Google 表示，在这些问题得到缓解之前，不会发布 Imagen Video 模型或源代码；并且与 Meta 不同，它也不会提供任何注册兴趣的表单。
尽管如此，鉴于文生视频技术正以惊人的速度发展，开源模型的问世或许为期不远——这既将极大激发人类的创造力，也将带来关于深度伪造、版权和虚假信息的棘手挑战。