Adobe在周一举行的Adobe MAX活动之前,为其Firefly AI平台推出了视频生成功能。从今天开始,有限测试版用户可以在Adobe的网站上注册试用Firefly的视频生成器,或在Premiere Pro测试版应用中体验其全新的AI驱动视频功能Generative Extend。
在Firefly网站上,有限测试版用户可以尝试文本到视频模型或图像到视频模型,两者均可生成长达五秒的AI生成视频。(网页测试版可免费使用,但可能设有速率限制。)
Adobe表示,它训练Firefly根据提示词的要求创建动画内容和照片级逼真的媒体。理论上,Firefly还能够生成带有文字的视频,而这是AI图像生成器历来难以做到的。Firefly视频网页应用包括用于切换相机平移、相机运动强度、角度和镜头大小的设置。
在Premiere Pro测试版应用中,用户可以试用Firefly的Generative Extend功能,将视频片段延长最多两秒。该功能旨在为场景生成额外的节拍,延续相机的运动和主体的动作。背景音频也将被扩展——这是公众首次接触到Adobe一直在默默开发的AI音频模型。然而,背景音频扩展器不会重新创建人声或音乐,以避免来自唱片公司的版权诉讼。
在向TechCrunch展示的演示中,Firefly的Generative Extend功能产生的视频比其文本到视频模型更令人印象深刻,且似乎更具实用性。文本到视频和图像到视频模型在精致度和惊艳程度方面尚不及Adobe在AI视频领域的竞争对手,如Runway的Gen-3 Alpha或OpenAI的Sora(尽管后者尚未发布)。Adobe表示,它更注重AI编辑功能而非生成AI视频,这很可能是为了取悦其用户群体。
Adobe的AI功能必须在其创意受众之间取得微妙的平衡。它试图在一个由众多AI初创公司和技术公司展示令人印象深刻的AI模型的拥挤领域中领先。另一方面,许多创意人士对AI功能可能很快取代他们几十年来用鼠标、键盘和数位板所做的工作感到不满。这就是为什么Adobe的第一个Firefly视频功能Generative Extend使用AI来解决视频编辑器的一个现有问题——你的片段不够长——而不是从头生成新的视频。
“我们的受众是地球上最追求像素完美的人群,”Adobe生成式AI副总裁Alexandru Costin在接受TechCrunch采访时说。“他们希望AI帮助他们扩展现有资产、创建变体或对其进行编辑,而不是生成新资产。因此,对我们来说,先进行生成式编辑,然后再进行生成式创作非常重要。”
能够简化编辑流程的生产级视频模型——这正是Adobe在Photoshop中为Firefly图像模型找到早期成功的关键。Adobe高管此前表示,Photoshop的“生成式填充”功能是过去十年中使用率最高的新功能之一,很大程度上是因为它补充并加速了现有工作流程。该公司希望能在视频领域复制这一成功。
据报道,Adobe正努力关注创意人士的感受,每提交一分钟用于训练其Firefly AI模型的视频,就向摄影师和艺术家支付3美元。尽管如此,许多创意人士仍对使用AI工具持谨慎态度,或担心这些工具会使他们变得过时。(Adobe周一还宣布推出面向广告主的AI工具,可自动生成内容。)
Costin告诉这些担忧的创意人士,生成式AI工具将创造更多对他们作品的需求,而非减少:“如果你想想那些希望为任何与其互动的用户创建个性化和超个性化内容的企业需求,那将是无限的需求。”
Adobe的AI负责人称,人们应考虑其他技术革命如何使创意人士受益,并将AI工具的兴起与数字出版和数码摄影相提并论。他指出,这些突破最初被视为威胁,并表示如果创意人士拒绝AI,他们将面临困难。
Costin说:“利用生成能力来提升水平、提升技能,成为能够使用这些工具创作100倍内容的创意专业人士。”“内容需求一直存在,现在你可以在不牺牲生活的前提下完成它。拥抱这项技术。这是新的数字素养。”
Firefly还将自动在以此方式创建的视频元数据中插入“AI生成”水印,Meta则在Instagram和Facebook上使用识别工具将此类媒体标记为AI生成,其理念是只要内容包含适当的元数据水印,平台或个人即可利用此类AI识别工具来判断内容的真伪,然而Adobe生成的视频默认不会带有可见的、便于人类阅读的标签来明确说明其为AI生成。
Adobe专门设计Firefly以生成“商业安全”的内容。该公司表示,未使用包含毒品、裸露、暴力、政治人物或受版权保护材料的图像和视频来训练Firefly。理论上,这意味着Firefly的视频生成器不会创建“不安全”的视频。随着互联网免费开放Firefly的视频模型,我们将拭目以待这是否属实。

