大数跨境

支持Grok-2并超越Midjourney的FLUX.1模型背后的团队

支持Grok-2并超越Midjourney的FLUX.1模型背后的团队 土耳其小莫
2024-09-04
3
导读:让我们近距离了解一下FLUX.1系列的开发团队,该系列正在挑战Midjourney和DALL-E,并在近期项目中被频繁使用。

此前我们曾介绍过 xAI 发布的新款 AI 模型 Grok-2 系列,其图像生成能力基于 Black Forest Labs 开发的 FLUX.1 模型。本文将带您深入了解这支挑战 Midjourney 和 DALL-E、并在近期项目中被频繁使用的团队及其核心产品。

Black Forest Labs 团队

FLUX.1 由总部位于德国的 Black Forest Labs 开发。该团队联合创始人包括 Andreas Blattmann、Axel Sauer、Dominik Lorenz、Dustin Podell、Frederic Boesel、Harry Saini、Jonas Müller、Kyle Lacy、Patrick Esser、Robin Rombach、Sumit Kulal、Tim Dockhorn、Yam Levi 和 Zion English。

Black Forest Labs 表示,团队成员在学术、工业及开源环境中开发基础生成式 AI 模型方面拥有卓越经验。根据官方信息,团队在图像和视频生成领域的创新成果涵盖 VQGAN、Latent Diffusion、Stable Diffusion XL、Stable Video Diffusion、Rectified Flow Transformers 以及用于超高速实时图像合成的 Adversarial Diffusion Distillation 等。

Black Forest Labs 的 Flux 模型

约一个月前,该团队发布了 FLUX.1 文本到图像模型包,包含 FLUX.1 (pro)、FLUX.1 (dev) 和 FLUX.1 (schnell) 三个版本。

FLUX.1 (pro) 是该系列中性能最强的模型,具备顶级的提示遵循能力、视觉质量、细节表现及输出多样性。用户可通过 API、Replicate 或 fal.ai 访问该模型,团队还提供针对企业的定制化解决方案。

FLUX.1 (dev) 开放权重且可用于非商业应用。它直接从 pro 版本蒸馏而来,比同尺寸常规模型更高效,同时保持了相似的质量与一致性。其权重可在 HuggingFace 获取,并支持在 Replicate 或 Fal.ai 上进行测试。

FLUX.1 (schnell) 是系列中速度最快的模型,专为本地开发和私人用途优化,采用 Apache 2.0 许可公开可用。模型权重托管于 HuggingFace,推理代码可在 GitHub 及 HuggingFace Diffusers 中找到,并已实现 ComfyUI 首日集成支持。

FLUX.1 各模型有何区别?

所有公开的 FLUX.1 模型均基于混合架构,由多模态和并行扩散 Transformer 块组成,参数量达 120 亿。团队采用流匹配(flow matching)方法训练生成模型,并通过引入旋转位置嵌入(rotary positional embeddings)和并行注意力层(parallel attention layers)提升性能与硬件效率。

在视觉质量、提示遵循、尺寸/外观可变性、排版及输出多样性等方面,FLUX.1 (pro) 和 (dev) 超越了 Midjourney v6.0、DALL-E 3 (HD) 和 SD3-Ultra 等主流模型。官方指出,即便是快速版的 FLUX.1 (schnell),也在同类竞品乃至未蒸馏的强大模型面前展现出优异性能。这些模型经过专门调整,完整保留了预训练阶段的输出多样性。

Istikamet 视频模型达到 SOTA

继 FLUX.1 系列之后,Black Forest Labs 计划推出基于文本生成视频的 SOTA(当前最佳)AI 模型。据官网介绍,该视频模型将解锁高分辨率、前所未有的生成速度以及精确的编辑功能。

Black Forest Labs 获得的融资

上个月,Black Forest Labs 宣布完成 3100 万美元种子轮融资,由 Andreessen Horowitz 领投。Brendan Iribe、Michael Ovitz、Garry Tan、Timo Aila 及 Vladlen Koltun 等 AI 研究与创业领域的知名专家作为天使投资人参与。此外,公司还获得了 General Catalyst 和 MätchVC 的后续投资。

【声明】内容源于网络
0
0
土耳其小莫
小莫带你了解土耳其电商,探索AI应用
内容 45710
粉丝 0
土耳其小莫 小莫带你了解土耳其电商,探索AI应用
总阅读118.7k
粉丝0
内容45.7k