ECCV 2026 | AIGC数字美妆新突破！VIVO & 浙大开源 MagicMakeup：精准复刻眼影、口红质感，不改原生五官。

给一张人物照片和一张妆容参考图，模型能把眼影、唇色精准迁移到脸上，同时保留原五官——MagicMakeup让“虚拟化妆”从全脸换妆进化到眼唇分区精准可控。

现有 AI 妆容迁移普遍存在妆容溢色、人脸五官变形、身份丢失等问题。vivo 蓝影实验室联合浙江大学推出 MagicMakeup 区域可控扩散 Transformer 方案，依托 FLUX.1-Kontext 底座，设计 TARG 区域门控与 CMPG 特征解耦模块，支持眼影、唇妆、全脸妆容分区独立迁移，严格约束妆效作用范围。团队同步构建 MakeupHQ 高清评测基准。实测中该方案妆容还原度、背景保真、人脸身份保留能力优于 PSGAN、StableMakeup 等基线。项目开放全套推理代码，消费级显卡即可本地部署。

unsetunset相关链接unsetunset

• 论文：https://arxiv.org/html/2607.20924
• 代码：https://github.com/vivoCameraResearch/Magic-Makeup
• 主页：https://vivocameraresearch.github.io/magicmakeup/

unsetunsetMagicMakeup是什么？unsetunset

MagicMakeup是一个区域可控的高保真妆容迁移框架，基于FLUX.1-Kontext-dev构建。给定一张源人脸和一张妆容参考图，模型生成一张保留源图身份和面部几何结构、同时精确迁移参考图妆容（颜色、纹理、风格）的新图像。

与普通“换风格”不同，MagicMakeup的核心卖点是区域级控制：

• 全脸迁移：整套妆容完整迁移
• 眼部迁移：只换眼影，不影响其他区域
• 唇部迁移：只换唇色，不影响其他区域
• 组合迁移：从不同参考图分别提取眼妆和唇妆，组合到同一张脸上

unsetunset为什么妆容迁移这么难？unsetunset

论文指出，现有方法在区域可控性、妆容 fidelity 和身份保持三者兼顾上存在三大瓶颈：

• 瓶颈一：空间可控性不足。 很多扩散方法只支持全脸迁移。即使有些方法引入了像素遮罩，但由于遮罩存在于像素空间，而扩散模型内部按图像Token计算注意力，两者没有完全对齐，导致妆容“溢出”到非目标区域。

• 瓶颈二：概念模糊。 在“源图+参考图”双图条件下，模型分不清哪些特征属于“要保留的”（身份、五官、面部结构），哪些属于“要迁移的”（眼影、唇色等妆容属性）。结果要么妆容细节没传过来，要么参考人物的脸型“泄漏”到了输出里。

• 瓶颈三：数据质量与可用性有限。 高质量的真实带妆/素颜配对数据极为稀缺，即使有，在表情、背景、光照上也往往不一致，不适合监督训练。

unsetunset方法概述unsetunset

MagicMakeup 的核心创新可概括为“一套机制管位置，一套机制管概念”，辅以独特的数据构建策略：

Token 对齐区域门控

为解决“串色”问题，TARG 将眼睛、嘴唇或全脸的像素级 ROI 遮罩，直接映射到模型内部的 Token 网格上，并在注意力机制中施加区域特定的 logit 门控。这意味着：只有目标区域的 Token 被允许读取参考妆容信息，从根源上阻断了非目标区域的特征泄漏。

跨模态感知引导

空间遮罩只能管“在哪改”，CMPG 则负责管“该保留什么”。它将任务显式解耦为“保留”（源图的身份、五官结构）和“迁移”（参考图的妆容属性）两类概念。在每一步去噪过程中，通过文本和图像特征的联合对齐，强化模型对这两种概念的跨模态感知，大幅减少身份泄漏和属性漂移。

逆向数据构建：从真实照片中“卸妆”

高质量、严格配对的“素颜-带妆”数据极难获取。团队另辟蹊径，从真实带妆照片出发，利用生成模型分别移除全脸、眼部和唇部妆容，将原始带妆图作为目标，将“卸妆”后的图像作为输入。最终构建了 6772 组带区域标注的 1024×1024 高质量配对数据，在保留真实妆容纹理的同时，极大增强了对原始面部结构的约束。

unsetunset实验结果unsetunset

定性结果

• 全脸妆容迁移：在多种风格、姿态和背景下，精细妆容细节被准确迁移，同时身份和场景几何结构得以保留
• 眼部妆容迁移：只编辑眼部区域，非编辑区域和场景几何结构完全不受影响
• 唇部妆容迁移：只编辑唇部区域，其他区域保持稳定
• 与9种基线方法对比：在身份保持、妆容 fidelity 和空间稳定性上均优于GAN和扩散类方法

定量结果

论文在MakeupHQ Bench上进行了全面的定量评估，涵盖：身份保持、妆容、未编辑区域一致性、生成分布质量。

unsetunset结论unsetunset

MagicMakeup 突破传统妆容迁移 “妆效与人脸无法兼顾” 的固有矛盾，依靠 TARG 区域门控、CMPG 特征解耦两大创新，实现行业稀缺的分区精准仿妆能力，同时配套开源高清数据集与标准化评测工具，填补妆容迁移领域缺少统一基准的空白。