Runway发布Gen-3 Alpha：AI生成视频技术的重大突破
图片来源：Runway
高质量AI生成视频的竞争正在升温。
本周一，致力于为电影和图像内容创作者开发GenAI工具的公司Runway，发布了Gen-3 Alpha。该模型可根据文字描述和静态图像生成视频片段。Runway表示，这款模型在生成速度和逼真度上相比之前的旗舰视频模型Gen-2有了“重大”改进，同时提供对视频结构、风格和动作的精细控制。
Gen-3将在未来几天内向Runway的订阅用户开放，包括企业客户和Runway创意合作伙伴计划中的创作者。
"Gen-3 Alpha在生成具有广泛动作、手势和情感的富有表现力的人物角色方面表现出色，" Runway在其博客文章中写道。"它被设计为能够解释各种风格和电影术语，并实现场景中元素的富有想象力的过渡和精确的关键帧控制。"
Gen-3 Alpha有其局限性，例如视频片段最长为10秒。不过，Runway联合创始人Anastasis Germanidis承诺，Gen-3只是下一代视频生成模型中最初且最小的一个，这些模型将在升级的基础设施上进行训练。
"该模型在处理复杂的人物和物体互动方面可能会遇到困难，生成的内容有时不完全符合物理定律，" Germanidis今天上午在接受TechCrunch采访时表示。"此次初步发布将支持5秒和10秒的高分辨率生成，并且生成时间明显比Gen-2更快。生成一个5秒的视频片段需要45秒，而生成一个10秒的视频片段需要90秒。"
与所有视频生成模型一样，Gen-3 Alpha是通过大量视频和图像示例进行训练的，从而"学习"这些示例中的模式以生成新的片段。训练数据来源并未透露。如今很少有GenAI供应商主动提供此类信息，部分原因是他们将训练数据视为竞争优势。
"我们有一个内部研究团队，负责监督我们所有的训练工作，并使用精选的内部数据集来训练我们的模型，" Germanidis说。
来自Runway Gen-3的模型样本
如果供应商使用公共数据（包括网络上受版权保护的数据）进行训练，那么训练数据的细节也有可能引发与知识产权相关的诉讼，这也是另一个不愿意透露太多信息的原因。
Runway在一定程度上回应了版权问题，表示在开发模型时咨询了艺术家。这与Germanidis在2023年TechCrunch Disrupt大会上的炉边谈话中所述内容相呼应："我们正在与艺术家密切合作，找出解决这一问题的最佳方法。我们正在探索各种数据合作关系，以便能够进一步发展......并建立下一代模型。"
Runway还表示，计划在推出Gen-3时引入一套新的安全措施，包括一个审核系统，以阻止使用受版权保护的图像生成视频的尝试，以及生成不符合服务条款的内容。此外，还在开发一个兼容C2PA标准的来源系统，用于识别视频来源于Gen-3。
"我们新的改进版内部视觉和文本审核系统采用自动监督，以过滤掉不适当或有害的内容，" Germanidis说。"C2PA认证验证了所有Gen-3模型创建的媒体的来源和真实性。随着模型能力和生成高保真内容的能力的提升，我们将继续在一致性和安全性方面进行大量投资。"
来自Runway Gen-3的模型样本
Runway还透露，已与"领先的娱乐和媒体机构"合作，创建Gen-3的定制版本，使其能够实现更多"风格化控制"的一致性角色，针对"特定的艺术和叙事需求"。公司补充道："这意味着生成的角色、背景和元素可以在各种场景中保持一致的外观和行为。"
视频生成模型的一个主要未解决问题是控制——即让模型生成与创作者艺术意图一致的连贯视频。正如我同事Devin Coldewey最近所写的，传统电影制作中的简单事项，在生成式模型中需要变通方法。
Runway 已从包括谷歌（提供云计算资源）和 Nvidia 在内的投资者筹集了超过 2.365 亿美元。随着对GenAI技术投资的增长，该公司与创意产业紧密结合。Runway运营着Runway Studios，这是一个为企业客户提供制作合作的娱乐部门，还举办了AI电影节。
来自Runway Gen-3的模型样本
GenAI初创公司 Luma AI上周发布了一款视频生成器 Dream Machine。几个月前，Adobe 公司透露正在开发自己的视频生成模型。
其他竞争对手还包括OpenAI的Sora，虽然仍处于严格的封闭状态，但已在向营销机构、独立电影导演推广。谷歌也将其图像生成模型Veo交给了精选的创作者使用。
无论各种合作的结果如何，有一点已经变得很清晰：AI视频生成工具有可能颠覆电影和电视行业。
来自Runway Gen-3的模型样本
电影制片人Tyler Perry在看到Sora的能力之后，暂停了耗资 8 亿美元扩建其制片工作室的计划。导演Joe Russo预测，在一年内，AI将能够制作一部完整的电影。
2024年的一项研究发现，75%采用AI的电影制作公司在引入AI技术后减少、合并或消除了类似工作岗位。该研究还估计，到 2026 年，将有超过 10 万个美国娱乐行业的工作岗位被AI取代。
要确保视频生成工具不会导致对创意工作的需求急剧下降，就必须采取一些强有力的劳动保护措施。