传统图像风格迁移要么效果微弱,要么过度失真、过渡生硬。上交开源 StyleController,实现无级平滑风格化,精准把控风格强度。
近期,上海交通大学团队推出全新开源框架 StyleController,针对现有扩散、DiT模型风格编辑的核心痛点优化。当前主流图像风格迁移方法,难以同时实现强风格渲染、原图语义完整保留、风格平滑过渡三大效果,大多存在内容失真、风格突变、强度不可控等问题。
该团队提出双阶段训练策略与风格感知样条插值算法,依托轻量投影器与低秩空间插值技术,仅通过少量离散训练锚点,即可实现连续、精准、丝滑的风格强度调节。框架兼容Qwen-Image-Edit、FLUX.1-Kontext主流模型,配套开源数据集与完整代码,实用性与扩展性拉满。
相关链接
-
论文地址:https://arxiv.org/abs/2608.08125
-
项目主页:https://reychiaro.github.io/StyleController/
-
GitHub 仓库:https://github.com/ReyChiaro/StyleController
-
模型:https://huggingface.co/ReyChiaro/StyleController
-
数据集:https://huggingface.co/datasets/ReyChiaro/SmoothStyle
内容介绍
StyleController 是一款基于 diffusers 构建的可控连续图像风格化开源框架,核心解决传统风格迁移的三大痛点:内容结构损毁、风格效果薄弱、强度调节断层、过渡生硬。
区别于固定强度、非黑即白的传统风格迁移方案,该框架支持用户自定义 0–1 区间任意风格强度数值,可渐进式注入参考图的色彩、纹理、细节风格,全程严格保留原图主体语义、布局与结构。同时,框架摆脱了图像形变插值的局限,无需预设终点效果图,仅依靠内容图与风格参考图,即可生成稳定、连续、顺滑的风格渐变路径,适配艺术创作、图片精修、批量风格化、创意视觉设计等多种场景。
此外,项目开源了专属 SmoothStyle 训练数据集、完整推理与训练脚本,兼容主流 DiT 编辑模型,降低了连续风格化技术的落地与二次开发门槛。
方法概述
StyleController 采用双阶段训练策略+风格强度感知样条插值的核心方案,轻量化、高效且效果优异,具体分为两大阶段:
第一阶段:强风格端点训练:基于基础模型训练专属 LoRA 权重,让模型具备极致的风格迁移能力,在最大限度保留原图语义结构的前提下,实现高强度、高质量的风格渲染,筑牢风格化效果基础。
第二阶段:锚点投影器训练:冻结已训练好的基础 LoRA 模型,训练多组离散风格强度对应的轻量锚点投影器,将不同风格强度映射至低秩参数空间。
推理优化: inference 阶段,模型在低秩空间完成风格强度感知样条插值,仅依靠少量离散训练锚点,即可生成无数连续的风格强度梯度,实现自然顺滑的渐变过渡,彻底解决风格突变问题。
实验结果
研究团队在多项主流评测指标上完成对比实验,涵盖 c-FID、s-FID、LPIPS、ArtFID、CLIP-I、SL 六大维度,对比 StyleID、InstantStyle-Plus、OmniStyle 等多款主流方案,效果全面领先:
1. 内容保真度拉满:QwenImage 基线模型搭配 StyleController 后,c-FID 大幅降低至 65.95,CLIP-I 相似度提升至 0.9241,证明模型能极致保留原图内容结构,无主体失真、错位问题。
2. 风格渲染更优质:ArtFID、SL 指标显著优于所有基线方法,能够精准复刻参考图的全局色调与局部纹理细节,风格质感更细腻自然。
3. 过渡效果极致顺滑:对比 FreeMorph、DiffMorpher 等形变插值方法,StyleController 无需真实风格终点图,可自主生成稳定连续的风格渐变轨迹,从原图到满风格的过渡无断层、无跳变、无噪点。
4. 兼容性优异:在 Qwen-Image-Edit、FLUX.1-Kontext 两大主流 DiT 模型上均表现出稳定优异的性能,泛化能力极强。
结论
StyleController 创新性地将离散风格训练与连续插值控制结合,用极简高效的方案,攻克了图像风格化中保真、强风格、顺滑过渡无法兼得的行业难题。凭借轻量化部署、全强度可控、多模型兼容、效果优异的优势,该框架不仅为 AI 图像创意编辑、艺术风格创作提供了全新解决方案,也为 DiT 模型的精细化可控生成提供了新思路。完整开源的代码、数据集与权重,让开发者和创作者可快速落地使用,具备极高的实用价值与研究价值。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~

