大数跨境
0
0

CVPR 2026 | 从图像直接生成海报!港科大&美团开源PosterOmni:一键解锁艺术海报创作新境界!

CVPR 2026 | 从图像直接生成海报!港科大&美团开源PosterOmni:一键解锁艺术海报创作新境界! AIGC Studio
2026-02-28
2
导读:添加微信号:AIGC_Tech,公众号小助手会拉你进群!点击下方名片关注AIGC Studio公众号!
添加微信号:AIGC_Tech,公众号小助手会拉你进群!

点击下方名片关注AIGC Studio公众号获取最新AI前沿应用/AIGC实践教程

在图像转海报的创意领域,如何高效融合局部精细编辑与全局概念设计,一直是创作者面临的挑战。PosterOmni这一创新框架的出现,正引领我们进入一个全新的艺术海报创作时代!通过任务蒸馏与统一奖励反馈机制,PosterOmni实现了从图像到海报的高效转换,无论是局部调整还是全局布局,都能轻松驾驭,让创意触手可及。

什么是 PosterOmni?

PosterOmni 是一个统一的图像转海报框架,涵盖以下两个方面:

  • 海报本地编辑:缩放、填充、扩展、身份驱动
  • 海报全局创作:布局驱动,风格驱动
  • 统一框架:一个界面即可处理多任务海报生成和编辑。

相关链接:

  • 论文:https://arxiv.org/abs/2602.12127
  • 主页:https://ephemeral182.github.io/PosterOmni/
  • 源码:https://github.com/MeiGen-AI/PosterOmni
  • 模型:https://huggingface.co/MeiGen-AI/PosterOmni_v1
  • 数据:https://huggingface.co/datasets/PosterOmni
  • 试用:https://huggingface.co/spaces/PosterOmni

论文介绍

图像转海报的生成任务,要求模型不仅具备局部调整的能力,还需深入理解高级设计概念。传统方法往往难以在保留语义完整性的同时,兼顾美学设计的和谐统一。PosterOmni 的提出正是为了解决这一多维度创作难题,通过整合局部编辑与全局创作,实现艺术海报的高效生成。

方法概述

PosterOmni 采用四阶段工作流程进行训练(见下图),逐步统一本地编辑和全局创建功能。

  • 第一阶段:特定任务的SFT 通过针对特定任务的指导,培训编辑专家(调整大小/填充/扩展/标识)和创作专家(布局/样式),为每项海报任务建立强大的专业能力。

  • 第二阶段:任务提炼 将任务专家的知识提炼成一个单一的多任务模型,从而在本地和全局任务中实现一致的行为。

  • 第三阶段:PosterOmni奖励培训 学习统一的奖励信号来评估跨任务的海报结果,强调文本保真度、视觉一致性和整体海报质量

  • 第四阶段:全方位编辑强化学习 通过强化学习进一步将统一模型与奖励信号对齐,从而提高在各种海报编辑和创建场景中的鲁棒性和质量。

PosterOmni 数据集

论文推出了一套统一的数据集,包括PosterOmni-200K(训练集)和PosterOmni-Bench(评估集),用于图像到海报的生成。PosterOmni -200K包含超过 20 万个配对样本,涵盖六项任务——局部编辑(缩放、填充、扩展、身份驱动)和全局创建(布局驱动、风格驱动)——并包含六大海报主题:产品、食品、活动/旅游、自然、教育和娱乐。PosterOmni -Bench提供540 个中文提示和480 个英文提示,均匀分布在相同的六大主题中,以确保跨任务评估的一致性。

实验结果


  • 局部编辑精度:PosterOmni在保持原始主题的同时,实现了精确的局部调整,包括扩展、填充、缩放和ID驱动生成。
  • 全局创作逻辑:模型能够处理抽象的高层次任务,如布局驱动和风格驱动生成,确保整个海报的美学连贯性。
  • 统一框架优势:无缝集成多种编辑与生成能力,无需切换管道,显著提升了创作效率与灵活性。
  • 基准测试领先:在PosterOmni-Bench基准测试中,PosterOmni在参考遵循度、全局构图质量和美学和谐性方面,均超越了现有开源基线,甚至超越了部分专有系统。

结论

PosterOmni作为首个统一局部编辑与全局创作的艺术海报生成框架,通过高效的数据蒸馏与奖励反馈机制,解锁了基础编辑模型在多任务图像转海报生成中的潜力。其不仅显著提升了生成结果的质量与美学吸引力,更为未来的创意设计工具开发提供了宝贵方向。随着技术的不断演进,PosterOmni有望在游戏设计、广告创意、文化传播等领域发挥巨大作用,让艺术海报创作更加便捷、高效、富有创意。

感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~

【声明】内容源于网络
0
0
AIGC Studio
一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
内容 1013
粉丝 0
AIGC Studio 一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
总阅读9.5k
粉丝0
内容1.0k