Google VideoPoet是由Google研究团队31名研究人员开发的新型多模态AI视频生成器，旨在执行高质量的视频生成任务。
采用Transformer架构而非扩散模型
与Stable Diffusion等主流AI视频工具不同，VideoPoet摒弃了扩散模型，转而采用基于Transformer架构的大型语言模型（LLM）。该模型并非用于文本或代码生成，而是专注于视频创作。团队利用2.7亿段视频及超10亿对图文配对数据对其进行预训练，并将数据转化为条件文本嵌入、视觉标记和音频标记。
长视频生成更稳定、运动更连贯
选择Transformer模型有助于生成更长且质量更高的视频片段，有效解决了扩散模型在数帧后主体运动易失真的问题。团队成员Dan Kondratyuk和David Ross指出：
“在许多情况下，即使是现有的领先模型也往往只能生成小幅运动，或者在生成大幅运动时表现出明显的虚假感。”
VideoPoet可在长达16帧的视频中实现更大且更连贯的动作，并支持模拟多种摄像机运动、视觉风格及美学风格。此外，它还能生成与视频画面匹配的新声音，并支持以文本、图片、视频等多种输入作为引导。
区别于其他工具，VideoPoet还具备竖屏视频生成功能。未来，团队计划扩展其能力，实现从文本到语音、语音到视频等跨模态的任意转换。
目前VideoPoet尚未向公众开放，官方暂未公布具体上线时间。