谷歌正瞄准OpenAI的Sora，推出了Veo。这是一款AI模型，只需输入文本提示，即可生成时长约一分钟、分辨率为1080p的视频片段。
Veo于周二在Google I/O 2024开发者大会上发布。该模型能够捕捉不同的视觉和电影风格，包括风景镜头和时间推移画面，并能对已生成的素材进行编辑和调整。
“我们正在探索分镜脚本和生成长场景等功能，以了解Veo的能力。”谷歌AI研发实验室DeepMind负责人Demis Hassabis在虚拟圆桌会议上对记者表示，“我们在视频领域取得了令人难以置信的进展。”
Veo建立在谷歌视频生成领域的初步商业工作基础之上。该工作于四月预览，当时利用了公司的Imagen 2图像生成模型系列来创建循环播放的视频片段。
但与基于Imagen 2的工具不同（后者只能创建低分辨率、仅几秒长的视频），Veo似乎能与当今领先的视频生成模型相媲美——不仅包括Sora，还包括来自Pika、Runway和Irreverent Labs等初创公司的模型。
在一次简报会上，DeepMind负责生成式媒体研究工作的负责人道格拉斯·艾克展示了一些经过精心挑选的Veo功能示例。其中一个繁忙海滩的航拍视角例子，据他介绍展示了Veo相对于其他视频模型的优势。
“海滩上所有游泳者的细节对于图像和视频生成模型来说一直是个难题，因为有这么多移动的角色，”他说，“如果你仔细看，海浪的效果相当不错。至于提示词‘繁忙’所传达的感觉，我认为通过所有人物的呈现得到了体现——充满日光浴者的热闹海滨。”
Veo是在大量素材上进行训练的。这通常也是生成式AI模型的工作原理：通过不断输入各种形式的数据样本，模型能够从中识别出数据模式，从而生成新的数据——在Veo的情况下就是视频。
用于训练Veo的素材来自哪里？艾克没有具体说明，但他承认其中一些可能来源于Google旗下的YouTube。
“Google的模型可能会使用部分YouTube内容进行训练，但始终遵循我们与YouTube创作者达成的协议，”他说。
所谓的“协议”在技术上确实属实。但同样真实的是，考虑到YouTube的网络效应，如果创作者希望触达尽可能广泛的受众，他们别无选择，只能遵守Google制定的规则。
《纽约时报》今年4月的报道揭示，谷歌扩大了其服务条款，部分原因是为了让公司能够利用更多数据来训练其人工智能模型。根据旧的服务条款（ToS），谷歌是否可以使用YouTube数据来构建视频平台之外的产品并不明确。而在新条款下，情况则大不相同，限制被大大放宽。
谷歌并非唯一利用海量用户数据来训练内部模型的科技巨头（例如Meta）。但让一些创作者感到失望的是，艾克坚持认为谷歌在此方面树立了道德上的“黄金标准”。
他说：“解决这一[训练数据]挑战的方案在于召集所有利益相关方，共同确定下一步该怎么做。在我们与利益相关方一起迈出这些步伐之前——我们指的是电影行业、音乐行业以及艺术家本人——我们不会推进得太快。”
然而，谷歌已经向包括唐纳德·格洛弗（又名Childish Gambino）及其创意机构Gilga在内的部分创作者开放了Veo的使用权限。就像OpenAI推出Sora一样，谷歌将Veo定位为一款面向创意人士的工具。
艾克指出，谷歌提供了工具允许网站管理员阻止该公司的机器人抓取其网站上的训练数据，但这些设置不适用于YouTube。而且，与一些竞争对手不同，谷歌没有提供机制让创作者在数据被抓取后将其作品从训练数据集中移除。
关于“复述”（regurgitation）问题，即在生成式AI语境中模型生成训练示例镜像副本的情况，人们发现Midjourney等工具会吐出《沙丘》、《复仇者联盟》和《星球大战》等电影的精确静态画面，这为用户埋下了潜在的法律地雷。据报道，OpenAI甚至阻止在Sora的提示词中使用商标和创作者的名字，以试图规避版权挑战。
那么，谷歌采取了哪些步骤来降低Veo模型出现内容重复的风险？艾克没有给出明确答案，仅表示研究团队实施了针对暴力和露骨内容的过滤措施（即禁止色情内容），并正在使用DeepMind的SynthID技术为Veo生成的视频打上AI生成标记。
他说：“对于像Veo模型这样重大的项目，我们将有意识地逐步向一小批我们可以密切合作、深入了解该模型影响的利益相关者发布，然后才向更大的群体开放。”
艾克还分享了更多关于该模型的技术细节。
他将Veo描述为“相当可控”，因为该模型能够从提示词中较好地理解摄像机运动和视觉效果（例如“平移”、“缩放”和“爆炸”等描述符）。与Sora类似，Veo对物理规律——如流体动力学和重力——也有一定程度的把握，这有助于提升其生成视频的真实感。
Veo还支持蒙版编辑，允许对视频的特定区域进行修改，并且能够根据静态图像生成视频，类似于Stability AI的Stable Video等生成式模型。最引人注目的是，给定一系列共同讲述一个故事的提示词，Veo可以生成长度超过一分钟的视频。
这并不是说Veo是完美的。反映了当前生成式AI的局限性，Veo生成的视频中物体常常毫无解释或一致性地在消失和重现之间切换。而且Veo经常搞错物理规律——例如，汽车会莫名其妙、不合常理地原地掉头。
这就是为什么Veo将在可预见的未来继续留在Google Labs的等待名单上。该公司实验性技术的门户位于一个名为VideoFX的新前端界面内，用于生成式AI视频创建和编辑。随着模型的改进，Google旨在将该模型的一些功能引入YouTube Shorts和其他产品。
艾克说：“这仍然是一个正在进行中的工作，非常具有实验性……这里未完成的工作远多于已完成的工作。”但他认为，“这可以说是电影制作领域做出真正伟大作品的原始材料。”
