图1. AnomalyHybrid 是一个领域无关的生成框架，通过结合参考图像（绿色箭头）与目标图像（黄色箭头）的方式，为各种应用生成逼真的正常及异常样本，从而提升下游任务的性能。

异常生成是缓解异常检测任务数据稀缺的有效方法。现有的大多数研究虽然在工业异常生成方面表现出色，但是依赖于多个专家或大型生成模型，并且鲜有能够推广到其他应用中的异常生成。在本文中，我们提出了AnomalyHybrid，这是一个领域无关的框架，旨在通过简单地结合参考图像和目标图像生成真实且多样的异常。AnomalyHybrid是一个基于生成对抗网络（GAN）的框架，包含深度解码器和边缘解码器，分别将参考图像的外观融入目标图像的深度和边缘结构中。在深度解码器的帮助下，AnomalyHybrid特别能够生成深度值变化的异常，如凸起和凹陷。此外，它放宽了边缘解码器的细粒度结构控制，从而带来了更多的多样性。AnomalyHybrid无需使用人工标注，可以轻松地通过具有不同增强的同一图像的颜色、深度和边缘集合进行训练。在HeliconiusButterfly、MVTecAD和MVTec3D数据集上进行的大量实验表明，AnomalyHybrid在异常生成及其下游的异常分类、检测和分割任务中超越了基于GAN的最新技术。在MVTecAD数据集上，AnomalyHybrid在异常生成方面达到了2.06/0.32的IS/LPIPS，在使用ResNet34进行异常分类时达到了52.6的准确率，在使用简单的UNet进行图像/像素级异常检测时达到了97.3/72.9的AP。

AnomalyHybrid是一个领域无关的生成框架，通过使用具有两个解码器的生成对抗网络（GAN）架构，在各种应用中生成逼真的正常及异常样本，从而增强异常检测，展示了在多个数据集上优越的性能，而无需依赖于人工标注。

图2. AnomalyHybrid 的生成结果结合了参考图像的外观特征与目标图像的深度及边缘结构特征

本文试图解决以下问题：

论文提出的方法是什么？

领域无关框架

AnomalyHybrid 旨在适用于各种领域，无需为每个应用程序专门设计模型。

生成对抗网络（GAN）架构

该框架利用 GAN 架构，包括深度解码器和边缘解码器，以生成多样且真实的异常。

多模态条件控制

该框架通过将参考图像的视觉特征与目标图像的深度和边缘属性相结合来生成异常。

无监督训练

AnomalyHybrid 可以在不需要注释的情况下进行训练，使其能够从具有不同增强效果的图像集学习。

异常生成

该框架生成多种异常，例如凹陷和凸起等具有深度值变化的异常，增强了生成异常的多样性和真实性。

泛化能力

AnomalyHybrid 展示了对其他应用的泛化能力，包括边缘提取、深度估计和分布外检测。

广泛实验

通过在多个数据集（包括 HeliconiusButterfly、MVTecAD 和 MVTec3D）上的实验验证了该框架的性能。

卓越性能

与现有的最先进方法相比，AnomalyHybrid 在异常生成和下游任务（分类、检测、分割）中显示出更好的结果。

多功能性

该框架的设计使其能够有效地用于多个领域的异常检测，而无需定制模型。

在哪些数据上进行了实验？

MVTecAD

o   描述：包含来自15个不同类别的工业物体和纹理的3,629张高分辨率彩色图像。测试集包括70种结构异常类型，如破损、裂纹、污染和错位。

o   实验步骤：

• 使用ResNet34进行异常分类，准确率达到52.6%。

• 使用简单的UNet进行异常检测，图像级平均精度（AP）为97.3%，像素级为72.9%。

 MVTec3D 

o   描述：由工业3D传感器获取的10个类别的4,147张高分辨率扫描图像组成。该数据集包含894个具有各种缺陷的异常样本，这些缺陷在RGB或3D数据中可见。

o   实验步骤：

• 使用RGB、深度和组合RGBD数据评估异常定位和检测性能。

• AnomalyHybrid在像素级AUC上达到了96.9，在图像级AUC上达到了83.7。

 HeliconiusButterfly 

o   描述：包含非杂交（正常）和杂交（异常）亚种的Heliconius蝴蝶的高分辨率图像。训练集包括2,084张14个非杂交和1个杂交亚种的图像，而测试集包含2,350张16个非杂交和7个杂交亚种的图像。

o   实验步骤：

• 计算了不同杂交类别的召回率指标，显示AnomalyHybrid相比基线方法有更好的性能。

• 使用信号杂交、非信号杂交和拟态杂交的召回率的调和平均数来评估检测效果。