大数跨境

余家辉交卷!Meta MSL连发图像/视频模型

余家辉交卷!Meta MSL连发图像/视频模型 量子位
2026-07-08
4
导读:包揽Arena三项第二

Muse 系列模型迎来重要更新。继今年 4 月发布 Muse Spark 后,由余家辉带队打造的图像模型 Muse Image 正式发布,视频模型 Muse Video 同步开启预览。

榜单数据显示,Muse Image 在 Arena 文生图、单图编辑及多图编辑三项评测中均位列第二,超越谷歌 Nano Banana,仅次于 OpenAI GPT Image 2。

Muse Video 则在文生视频排行榜中跻身第三,位于谷歌 Gemini Omni Flash 和字节 Seedance 2.0 之后,成功进入第一梯队。

此次更新标志着 Meta 生成式 AI 业务在沉寂一段时间后的高调回归。

Agentic Image Generation:像 Agent 一样绘图

Muse Image 采用了区别于传统文生图工具的“代理式图像生成”(Agentic Image Generation)路径。接收到指令后,模型不会立即输出图像,而是先拆解并梳理完整的创作思路。

面对不确定性内容,模型会主动调用外部工具辅助。例如绘制“今日纽约时代广场”,它会实时联网获取最新素材;处理图表或公式时,能自主编写代码进行精准运算,甚至生成真实可用的二维码。

生成完成后,模型还会复盘画面细节,自动迭代修改逻辑漏洞,直至交付高质量成品。Meta 测试发现,留给模型的推理思考时间越充足,最终画面的质感越好,图片质量呈接近对数线性曲线上升。

多模态协同与社交原生能力

Muse Image 可与 Muse Spark 大语言模型深度联动,共享工具链路以完成复杂任务。例如制作互动游戏时,两者可分工协作:一方编写网页交互代码,另一方生成视觉素材,最终输出包含动态 GIF 和内嵌图片的完整网页。

在日常应用中,Muse Image 支持多参考图合成及图文混合提示词。用户可上传人物、风景及穿搭参考图,并通过类似“画一张「这个人.jpg」穿着「这个衣服.jpg」坐在「这里.jpg」的图片”的指令实现精准控制。

此外,该模型具备独特的社交原生能力(Native Social Context)。用户可在提示词中@Instagram 公开账号好友或商家,模型将自动拉取对方公开照片进行二创或生成同风格营销图。内置的个性化模板支持在 Instagram 端一键调用,无需跳转。

针对隐私问题,Meta 允许用户在设置中选择退出(opt-out),禁止他人使用其公开照片进行 AI 创作。同时,所有生成图片均带有无法通过裁剪、压缩或截图去除的 Content Seal 隐形水印。

Muse Video 进展与规划

Muse Video 与 Muse Image 基于同一底座训练,在高视觉保真度、原生音频支持、提示词理解及时间一致性方面表现优异。目前音画同步和高速运动场景的物理准确性仍有提升空间,预计将在未来几个月内推出改进版本。

核心团队背景

MSL 视觉团队汇聚了多位顶尖华人科学家。

赵晟佳:底层基座技术负责人

MSL 首席科学家、Muse 全系列底层总负责人赵晟佳,本科毕业于清华大学,博士毕业于斯坦福大学。他于 2022 年加入 OpenAI,全程参与了从初代 ChatGPT 到 o3 的预训练工作。2025 年 6 月加入 Meta 后,正式接管 Muse 全系列的底层基座技术路线。

余家辉:多模态研发领军人

Meta MSL 多模态负责人余家辉,出身中科大少年班,获 UIUC 博士学位。他曾担任谷歌 Gemini 多模态视觉联合负责人,2023 年 10 月加入 OpenAI 后领导感知团队,参与了 GPT-4o 至 o4-mini 及“基于图像的思考”等关键研究。2025 年 6 月,他与赵晟佳一同加入 Meta,主导了本次 Muse Image 和 Muse Video 的研发工作。

【声明】内容源于网络
0
0
量子位
各类跨境出海行业相关资讯
内容 16286
粉丝 1
量子位 各类跨境出海行业相关资讯
总阅读306.7k
粉丝1
内容16.3k