Firefly是Adobe的生成式AI模型家族，在创意人士中口碑并不好。
尤其是Firefly图像生成模型，与Midjourney、OpenAI的DALL-E 3及其他竞争对手相比，一直备受诟病，被认为表现平平且存在缺陷，容易出现肢体和景观扭曲，并忽略提示词中的细微差别。但Adobe正试图通过其第三代模型Firefly Image 3来扭转局面，该模型将于本周在公司Max London大会期间发布。
目前该模型已在Photoshop（测试版）和Adobe的Firefly网页应用中上线，凭借对更长、更复杂提示词及场景的理解能力，以及改进的光线和文本生成功能，它比前代产品（Image 1和Image 2）能生成更具“真实感”的图像。Adobe表示，该模型应能更准确地呈现排版、图标、光栅图像和线条艺术等内容，并且在描绘密集人群以及具有“详细特征”和“多种情绪与表情”的人物方面，“显著”更加熟练。
就我个人而言，在简短的非科学测试中，Image 3确实看起来比Image 2有所提升。
我本人未能亲自试用Image 3。但Adobe公关部门提供了一些该模型的输出结果和提示词，我尝试用相同的提示词在网页端运行Image 2以获取样本，从而将Image 3的输出与之进行比较。（请注意，Image 3的输出结果可能是经过挑选的。）
注意这张来自Image 3的头像照片中的光线效果，并与下方来自Image 2的照片进行对比：
在我看来，Image 3的输出结果细节更丰富、更逼真，阴影和对比度也明显优于Image 2的样本。
以下是一组展示Image 3场景理解能力的图片：
需要注意的是，与Image 3的输出相比，Image 2的样本在细节水平和整体表现力方面都显得较为简单——Image 3样本中人物的衬衫（腰部区域）出现了一些怪异之处，但其姿势比Image 2中的人物更为复杂。（此外，Image 2中的服装也有些不对劲。）
毫无疑问，Image 3的一些改进可归因于更大且更多样化的训练数据集。
与Image 2和Image 1一样，Image 3是在Adobe Stock（Adobe的免版税媒体库）上传的内容，以及版权已过期的授权内容和公有领域内容上进行训练的。Adobe Stock一直在增长，因此可用的训练数据集也随之扩大。
为了规避诉讼并将自己定位为比那些不加区分地使用图像进行训练的生成式AI供应商（例如OpenAI、Midjourney）更“合乎道德”的替代品，Adobe实施了一项计划，向进入训练数据集的Adobe Stock贡献者支付报酬。（不过，我们注意到该计划的条款相当不透明。）颇具争议的是，Adobe还利用AI生成的图像来训练Firefly模型，这被一些人视为一种数据洗白行为。
最近的Bloomberg报道显示，Adobe Stock中的AI生成图像并未被排除在Firefly图像生成模型的训练数据之外，考虑到这些图像可能包含翻录的受版权保护的材料，这是一个令人担忧的前景。Adobe为这一做法进行了辩护，声称AI生成的图像仅占其训练数据的一小部分，并且会经过审核流程，以确保它们不包含商标、可识别的角色或提及艺术家的名字。
当然，无论是更多样化且更“合乎道德”地获取的训练数据，还是内容过滤器及其他保障措施，都无法保证完美无瑕的体验——例如用户利用Image 2生成了竖中指的人。Image 3的真正考验将在社区上手使用它之后才会到来。
全新AI驱动功能
Image 3在Photoshop中支持多项新功能，不仅限于增强的文生图能力。
Image 3中的新“风格引擎”以及新的自动风格化开关，使模型能够生成更丰富的色彩、背景和主体姿态。这些功能可应用于“参考图像”选项，该选项允许用户以某张图像的颜色或色调为条件，使未来生成的内容与之保持一致。
三款新的生成式工具——“生成背景”、“生成相似项”和“增强细节”——利用Image 3对图像进行精准编辑。“生成背景”（顾名思义）会用生成的背景替换原有背景，使其与现有图像自然融合；“生成相似项”可为照片中选定部分（如人物或物体）提供多种变体；而“增强细节”则通过“微调”图像来提升其清晰度和锐度。
如果这些功能听起来很熟悉，那是因为它们已在Firefly网页应用中测试至少一个月（Midjourney更是早已推出）。此次标志着它们正式在Photoshop中以测试版形式亮相。
说到网页应用，Adobe并未忽视这一通往其AI工具的替代路径。
为配合Image 3的发布，Firefly网页应用新增了“结构参考”和“风格参考”，Adobe将其宣传为“提升创意控制力”的新方式。（这两项功能于三月宣布，如今已广泛可用。）使用“结构参考”，用户可以生成与参考图像“结构”相匹配的新图像——例如一辆赛车的正面视角。“风格参考”本质上是一种换名的风格迁移技术，它保留目标图像的内容（如非洲草原上的大象），同时模仿另一张图像的视觉风格（如铅笔素描）。
以下是“结构参考”的实际效果：
以及“风格参考”：
我询问Adobe，在所有升级之后，Firefly图像生成的定价是否会发生变化。目前，最便宜的Firefly高级套餐为每月4.99美元——低于Midjourney（每月10美元）和OpenAI（将DALL-E 3置于每月20美元的ChatGPT Plus订阅门槛后）等竞争对手的价格。
Adobe表示，其当前的套餐层级以及生成式积分系统目前仍将保持不变。它还表示，其赔偿政策（规定Adobe将支付与在Firefly中生成的作品相关的版权索赔）也不会改变，其对AI生成内容的水印处理方式同样不会改变。用于识别AI生成媒体的Content Credentials（元数据）将继续自动附加到所有在网页端和Photoshop中由Firefly生成的图像上，无论是从头生成还是部分使用生成式功能编辑的图像。