大数跨境

Adobe 表示,视频生成功能将于今年上线 Firefly

Adobe 表示,视频生成功能将于今年上线 Firefly 海外洞察
2024-09-11
1
导读:用户将在短短几个月内首次有机会体验 Adobe 的视频生成 AI 模型。该公司表示,由 Adobe 的

用户将在短短几个月内首次有机会体验 Adobe 的视频生成 AI 模型。该公司表示,由 Adobe Firefly Video 模型驱动的功能将于 2024 年底前在 Premiere Pro 测试版应用和一个免费网站上推出。

Adobe 表示,生成式扩展(Generative Extend)、文生视频(Text to Video)和图生视频(Image to Video)三项功能目前处于私有测试阶段,但很快将向公众开放。

生成式扩展允许将任意输入视频延长两秒,该功能将于今年晚些时候嵌入 Premiere Pro 测试版;Firefly 的文生视频和图生视频模型可根据提示词或图像生成五秒视频,也将于同期在 Firefly 专属网站上线(时长限制未来可能增加)。

提示词:电影风格的特写镜头,详细描绘雪林中日落时分的一只驯鹿。光线具有电影感,美丽柔和,带有金色背光、梦幻般的散景和镜头光晕。

几十年来,Adobe 软件一直是创意人士的首选,但此类生成式 AI 工具或将颠覆其所服务的行业。Firefly 是 Adobe 对 OpenAI Sora、Runway Gen-3 Alpha 等新兴模型的回应。这些工具虽能在几分钟内完成人类数小时的工作量,但早期版本因不可预测性较高,尚难满足专业需求。

Adobe 认为可控性是其核心优势。Adobe 数字媒体首席技术官 Ely Greenfield 向 TechCrunch 表示,市场对能补充或加速现有工作流的 Firefly AI 工具“需求巨大”。

例如,Greenfield 指出,去年加入 Photoshop 的 Firefly 生成式填充功能,已成为“过去十年中使用频率最高的功能之一”。

Adobe 暂未公布 AI 视频功能的定价策略。目前 Creative Cloud 客户通过“生成积分”使用其他 Firefly 工具,通常一个积分对应一次生成结果,更高阶计划提供更多积分。

在与 TechCrunch 的演示中,Greenfield 展示了即将推出的 Firefly 视频功能。

生成式扩展可在原视频结尾无缝续接两秒画面:系统提取最后几帧并通过 Firefly 视频模型预测后续内容。音频方面,该功能会重建环境音(如交通声、自然声),但不包含人声或音乐,以符合音乐行业许可要求。

Generative Extend 功能在此片段中约于第 8 秒处使用,就在镜头光晕出现之后。

演示示例中,一段宇航员望向太空的视频经处理后,在镜头光晕后出现了不寻常的延长片段,但摄像机平移与场景物体保持一致。当素材结束过早需微调过渡或淡出时,此功能尤为实用。

Firefly 的“文本生成视频”和“图像生成视频”功能更为通用,支持通过文本或图像提示生成最长五秒的视频。用户可通过 firefly.adobe.com 访问这些工具(可能存在速率限制,Adobe 未具体说明)。

Adobe 还强调,Firefly 的“文本生成视频”功能在正确拼写单词方面表现优异,而这正是许多 AI 视频模型的短板。

提示词:微距特写镜头,展示水花飞溅并冻结成拼写出单词 ICE 的形状

安全措施上,Adobe 初期采取谨慎策略。Greenfield 表示,Firefly 视频模型已屏蔽裸露、毒品及酒精相关内容,且未针对政治人物、名人等公众人物进行训练——这与部分竞争对手形成鲜明对比。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14239
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读46.0k
粉丝0
内容14.2k