就在2024年的Adobe MAX大会上，Adobe正式推出Firefly视频模型，以及最新升级的图像模型
现在Adobe 的视频生成能力终于要来了。
结合他们本生的视频编辑工具，可以进一步维护他们的技术壁垒。
发布Firefly 视频生成模型，支持文生视频、图生视频。
相比于那些只能生成短暂片段的视频生成技术，
将GenAI技术完美融合进视频编辑软件，无疑是提升工作效率的绝佳策略。
在剪辑过程中，如果遇到素材缺失、色彩不匹配或是镜头角度不协调的问题，
Adobe的新功能Generative Extend
基于Firefly Video模型，能够省去重新拍摄的繁琐步骤
1.ADOBE推出生成式拓展
（自动匹配颜色）
（冰山坍塌的视频，虽然画面只持续了3秒多，但模型可以自动「脑补」出后面将近10秒的音效）
2.Adobe Firefly的文生视频和图生视频功能
文生视频
跟其他的AI视频工具类似，用户通过prompt即可生成任何自己想要的视频。
提示：街道中央雨中男子的电影级特写肖像。光影氛围沉郁而富有戏剧性，色调以蓝色和青色调为主。男子形象极度写实，皮肤纹理精细，脸上点缀着细密胡茬。细微的动作柔和流畅，镜头保持固定。画面呈现浓重的胶片颗粒感和质感。水珠在男子脸上缓缓滑落，清晰可见。
该技术能够复现多样的视觉效果，从高度仿真的实景电影风格、立体的3D动画，到独特的定格动画，无所不包。
对于已经创作出来的视频内容，用户可以利用“摄像机控制”工具进行更精细的调整，这包括但不限于选择不同的拍摄视角、动态效果以及调整镜头与主体之间的距离等细节。
用摄像机控制调整生成的视频
对于创作者来说，从此，视频项目中缺镜头将不再是问题！
提示：夜晚街道中央，一位老年男子的电影级特写和细节丰富的肖像。光线氛围沉郁而富有戏剧性。色彩调性为蓝色阴影与橙色高光的对比。主角的皮肤纹理极其逼真细腻，毛孔清晰可见。动作微妙柔和。摄像机保持静止。胶片颗粒感。复古变形镜头。
比如下面这个小女孩用放大镜看草坪的视频：
AI可以补全出放大镜下的画面：
不需要补拍任何镜头，把AI生成画面和原视频剪辑在一起，就丰富了内容性和层次感：
提示：在墨西哥的美丽、光线柔和的天然井中，第一人称视角镜头。水清澈蔚蓝，闪烁着午后阳光的光芒。色彩温暖，阳光呈「魔幻时刻」（magic hour）风格。高质量，电影感。
提示：电影般的无人机镜头，飞越广阔的红色火星地貌，地面在我们下方快速掠过，随着太阳开始升起，地平线呈红色。在镜头结束时，阳光照射到地平线上方。
提示：微距镜头拍摄一只由熔岩组成的幼龙在火山内部爬行。
Firefly能够创造出火焰、烟雾、尘埃、水流和光晕等特效，这让视频制作者们感到非常激动。
这项功能极大地丰富了视频内容的视觉层次。
提示：黑色背景上的电影感漏光，有机质感，逼真。
下面这个视频，就是在Premiere Pro中使用屏幕混合模式之后的效果。
再比如，原视频如果是这个样子，就显得有些中二且抽象：
但叠加上AI生成的火焰特效：
特效+原视频结合后
各种风格的动画作品，也都可以一键生成。
像是2D的定格动画：
提示：在阳光明媚的美丽厨房里，炉灶上的煎锅中正在烹饪一个鸡蛋，这是一个使用毛毡制作的定格二维动画。
或者手绘风格的线条插画：
提示：手绘简单线稿，一个年轻的孩子仰望太空，脸上带着充满惊叹的表情。
还有各种类型的3D动画效果：
提示：可爱的章鱼宝宝，有着迷人的眼睛，每个触手都拿着一个茶杯，快乐地四处张望，3D渲染，Octane引擎，柔和光，梦幻般的背景虚化，浅景深，电影感。
提示：用羊毛和毛毡制成的微型可爱怪物，在一起跳舞，3D渲染，Octane引擎，柔和的灯光，梦幻的虚化，富有电影质感。
提示：「SUMMER」一词由蓬松、彩虹色的云朵组成，漂浮在美丽山脉上方的有漩涡和柔和色彩的天空中，两秒钟后，「SUMMER」一词与云朵一起消散。
图生视频
而Firefly的图生视频功能中，我们除了可以使用文本提示，还能在旁边放上参考图像。
通过上传单个帧，就能轻松地为现有内容创建补充镜头，比如一个特写。
或者从静态照片中创建新的B-roll，让现有的图像库动起来。
提示：花朵在风中摇曳，一只美丽的蝴蝶正落在其中一朵花上。
更神奇的是，我们甚至可以改变原始镜头中的动作和意图。
比如，如果视频剪辑中有一个特定的动作，但作为剪辑师的你希望让导演重新拍摄，这时就可以使用该功能将其可视化，在保持相同外观的同时推动故事情节。
原片：
生成：
提示：一只戴着手套的宇航员的手进入画面，拔掉了黄色电缆的其中一根。电影感。
提示的使用
Adobe建议的提示模板和具体建议如下：
镜头类型描述 + 角色 + 动作 + 位置 + 美学风格
尽可能使用更多词语来具体描述光线、摄影、色彩分级、情绪和风格
清晰描述，避免模糊不清
使用具体的动词和副词定义动作
使用大量描述性形容词
包括时间元素，如一天中的时间或天气
必要时加入相机运动
-
反复迭代！
反复迭代的过程中可以选择更新提示，也可以使用同一个较为成熟的提示但更改种子值（seed），从而快速尝试新的变化，而无需每次都从头开始。
比如下面这个demo的提示，虽然相比之下非常简短，但基本涵盖了模板中提到的要素。
提示：一只纸质熊猫平静地走过一片折纸竹林，电影感，可爱，柔焦，背景虚化。
版权声明:【除原创作品外，本平台所使用的文章、图片、视频及音乐属于原权利人所有，因客观原因或会存在不当使用的情况，如，部分文章或文章部分引用内容未能及时与原作者取得联系，或作者名称及原始出处标注错误等情况，非恶意侵犯原权利人相关权益，敬请相关权利人谅解并与我们联系。
END
