扩散模型与频率感知的结合正在成为破解高频细节重建与频谱失真难题的新钥匙,从频域噪声调度、小波多尺度建模到傅里叶域引导,频域先验与生成过程的深度耦合持续突破着传统扩散模型在纹理生成、高分辨率恢复与频谱对齐上的性能瓶颈。
本文从近年顶会顶刊中整理了10篇该方向的最新前沿论文,正在做相关课题的伙伴可以直接下方领取论文及代码(部分包含),不管是快速搭baseline、找创新切口,还是跟最新技术趋势,都能省不少从零摸索的功夫。
长按识别下方二维码,回复【扩散感知】
无偿领全部论文合集及项目代码
BiGain: Unified Token Compression for Joint Generation and Classification
面向联合生成与分类的统一Token压缩框架
文章内容
本文指出现有扩散模型token压缩方法只顾生成质量而损害分类能力,提出训练无关、即插即用的BiGain框架。核心洞察是频率分离:高频细节(边缘、纹理)对判别性有用,低频全局信息对生成有用。据此设计两个算子:拉普拉斯门控Token合并鼓励平滑区域合并、抑制高对比度token合并,保留边缘纹理;内插-外推KV降采样(IE-KVD)在控制内插/外推平衡下压缩KV缓存。在DiT与U-Net骨干、ImageNet-1K/100、Pets、COCO2017上,70%压缩率下分类Acc@1提升7.15%,FID改善0.34(1.85%),实现生成与分类双赢。
Frequency-Aware Dual-Stream Learning for Balanced Realism and Fidelity in Electron Microscopy Imaging
频率感知双流学习:平衡电镜成像中的真实感与保真度
文章内容
本文针对电镜图像重建中确定性方法过平滑、扩散方法易产生幻觉的矛盾,提出WaveletEM频率感知双流架构。用2D Haar离散小波变换将图像分解为低频结构子带X_LL与高频细节子带X_LH/X_HL/X_HH;低频分支采用条件扩散模型LFCDM生成生物学合理的结构骨架,高频分支采用基于Transformer的HFTBM,通过深度可分离卷积与空间窗口自注意力的跨流交互精确恢复边缘纹理;双流分别用扩散L2损失与细节L1损失独立监督。在EMDiffuse数据集降噪与2倍超分任务上,LPIPS与分辨率比显著优于PSSR、EMDiffuse、CDFormer等基线。
STAR: Spatial-Temporal Augmentation with Text-to-Video Models for Real-World Video Super-Resolution
基于文本到视频模型时空增强的真实世界视频超分
文章内容
本文首次将大规模文本到视频扩散模型(CogVideoX)引入真实世界视频超分,提出STAR框架。针对T2V模型仅靠全局自注意力难以处理真实退化、丢失局部细节的问题,设计局部信息增强模块LIEM,在全局注意力前并行接入局部聚合分支以去除退化伪影;进一步提出动态频率损失,依据扩散步长自适应加权:早期侧重低频结构一致性,后期侧重高频细节恢复,匹配扩散过程先粗后细的特性。在UVDM10、REDS30、OpenVid30、VideoLQ等合成与真实基准上,DOVER评分取得最佳、E_warp最低,全面超越Real-ESRGAN、StableSR等方法。
↓↓听说在下方一键三连的都Accept了🌝

