商汤科技 CVPR 2026 新作：ConsistCompose 实现图像生成“所控即所得”
当前图像生成模型虽能产出细节饱满的画面，但在实际创作中，用户更关注主体是否出现在指定区域、关键元素位置是否精准，以及参考对象身份能否稳定保留。针对这一痛点，商汤科技研究团队提出 CVPR 2026 论文《ConsistCompose: Unified Multimodal Layout Control for Image Composition》。该研究将图像生成从“所想即所得”推进至“所控即所得”，使模型不仅能理解“画什么”，更能精准执行“画在哪里”。
背景：精准布局为何仍是难题？
真实创作的核心痛点
在海报设计、电商主图及封面创作等专业场景中，图像不仅需美观，更需严格符合预设版式。然而，包括 ChatGPT Image 2.0 在内的当前商业化模型，在面对指定多元素（如猫、猫爪、门、地板）具体位置的复杂指令时，仍难以满足需求。
△ 当下通用多模态模型布局可控生成能力的缺失
现有方法的局限
学术界现有方法主要分为两类：一是引入额外控制模块或区域注意力机制，但这与具体架构强绑定，难以迁移；二是将布局视为独立模态，引入空间 Token 显式建模，却带来了多模态融合与泛化的新问题。
这两条路径的共同症结在于：布局控制被作为外部附加能力处理，而非模型原生接口的一部分。ConsistCompose 旨在统一多模态模型的语言 - 视觉接口中，自然表达并执行实例级布局约束。
技术方案：三位一体的完整框架
ConsistCompose 构建了由ICBP（实例坐标绑定提示）、Coordinate-CFG（坐标无分类器引导）与ConsistCompose3M 数据集组成的闭环框架，分别解决“如何表达”、“如何执行”及“如何学习”布局的问题。
ICBP：将布局约束融入语言接口
该方案核心在于将布局信息显式写入语言序列，使坐标约束像文本语义一样被模型原生理解。论文设计了 Instance-Coordinate Binding Prompt（ICBP），将实例描述与归一化坐标直接绑定：
A cat <bbox>[0.109, 0.297, 0.607, 0.870]</bbox>
has extended paw <bbox>[0.497, 0.566, 0.564, 0.642]</bbox>.在此表示下，文本、坐标、参考图像和生成目标在同一套序列建模框架中统一处理。空间控制不再是外挂模块，而是模型原生输入接口的一部分。这一设计复用了模型已有的语言理解能力，无需新增模态分支，架构改动极小且迁移成本低。
Coordinate-CFG：内容与布局的显式解耦
针对 ICBP 可能导致内容与布局深度耦合的问题，ConsistCompose 提出了 Coordinate-CFG。该机制在推理阶段引入可调节的坐标引导强度，将布局控制从内容生成中显式解耦。
△ Coordinate-CFG 在不同引导强度下的布局控制效果
其逻辑类似于经典的无分类器引导（CFG）：
- 引导强度较弱时：模型保留更大生成自由度，画面更自然；
- 引导强度增强时：更严格执行空间约束，提升对象与目标区域的对齐精度。
实验显示，随着引导强度增加，各部件与标注框的对齐程度逐步提升，同时保持图像整体质量。这使得“画什么”与“画在哪里”成为两个可独立干预的控制维度。
ConsistCompose3M：大规模多主体布局数据
为支撑模型学习，团队构建了包含约340 万样本的 ConsistCompose3M 数据集，其中约 260 万为布局可控文本到图像样本，80 万为多参考图像条件生成样本。
△ ConsistCompose3M 数据示意图
该数据集强调多实例、多参考图与组合式生成场景，覆盖对象与坐标绑定、多主体空间共存、参考主体身份保持及复杂布局组织能力，帮助模型建立对空间关系与主体一致性的系统性理解。
实验结果
布局可控文本到图像生成
在 COCO-Position 等基准测试中，ConsistCompose 在实例生成成功率与位置准确性等核心指标上均优于 GLIGEN、InstanceDiffusion、MIGC++ 等主流方法，实现了完整性与精度的协同优化。
△ 布局可控图像生成方法定量对比
△ 布局可控图像生成方法定性比较
多参考图布局可控生成（MS-Bench）
在涉及多参考图的复杂条件下，ConsistCompose 在 MS-Bench 及 MS-Bench-Random 上的 DINO、mIoU、AP 等指标均表现优异，显著优于 GLIGEN、MS-Diffusion 等方法，验证了其强大的泛化能力。
△ 多参考图布局可控生成 MS-Bench 定量对比
△ 多参考图布局可控生成 MS-Bench 定性对比
定性结果显示，该方法在主体位置对齐、身份外观保持及画面自然性上均显著优于对比方案。
项目价值与应用场景
ConsistCompose 解决了组合式图像生成中语义一致性、空间准确性、主体稳定性及视觉自然性多重约束同时满足的难题，直接覆盖三类高价值场景：
- 布局可控生成：通过文本与坐标组合精确指定对象位置，适用于海报、电商主图等对版式有严格要求的场景。
- 图像要素重排：保留原图视觉元素并重新编排空间关系，契合设计师“换版式不换素材”的工作流。
- 多主体一致性生成：从不同参考图提取主体，在指定布局下组合并保持身份特征，是约束最复杂也最贴近专业需求的场景。
该研究表明，空间结构可被纳入统一多模态模型的语言表达与推理框架。当布局约束能被自然理解与执行时，图像生成正从单纯的内容生成迈向更加可控、可执行的视觉创作新阶段。
相关资源：
- 论文：CVPR 2026 Official Proceedings
- GitHub: OpenSenseNova/ConsistCompose
- HuggingFace: sensenova/ConsistCompose-BAGEL-7B-MoT
- 项目主页：opensensenova.github.io/ConsistCompose