

可视化卷积神经网络学到的内容：打开深度学习“黑盒子”

知识代码AI

2025-12-02

导读：可视化卷积神经网络学到的内容：打开深度学习“黑盒子”你是否曾好奇，为什么卷积神经网络（CNN）会将一张明明是大

可视化卷积神经网络学到的内容：打开深度学习“黑盒子”

你是否曾好奇，为什么卷积神经网络（CNN）会将一张明明是大象的图片识别为冰箱？在计算机视觉应用中，可解释性是一个基本问题。尤其在医学影像等需要深度学习辅助人类专业知识的场景中，理解神经网络的决策过程至关重要。

今天，我将为你揭秘三种可视化CNN学习内容的方法，带你一窥深度学习模型的“内心世界”！

为什么要可视化CNN？

人们常说深度学习模型是“黑盒子”，难以理解其内部机制。但对卷积神经网络来说，这并不完全正确。CNN学到的表示非常适合可视化，因为它们本质上是对视觉概念的表示。

自2013年以来，研究人员开发了多种CNN可视化方法。本文将介绍三种最实用、最易理解的技术：

可视化中间激活值：了解各层如何变换输入
可视化滤波器：理解每个滤波器响应的视觉模式
可视化类激活热力图：定位影响分类决策的图像区域

方法一：可视化中间激活值

中间激活值可视化显示模型中各卷积层和汇聚层的输出。这让我们能看到输入图像如何被分解为神经网络学习到的不同特征。

示例分析：猫的图像识别

让我们以一个猫狗分类的小型CNN为例。首先加载并预处理一张猫的图像：

from tensorflow import keras
from tensorflow.keras.preprocessing import image
import numpy as np

img_path = 'cat.jpg'
img = image.load_img(img_path, target_size=(180, 180))
img_tensor = image.img_to_array(img)
img_tensor = np.expand_dims(img_tensor, axis=0)
img_tensor /= 255.0

接下来，我们创建一个模型来提取各层激活值：

layer_outputs = [layer.output for layer in model.layers 
if isinstance(layer, (keras.layers.Conv2D, keras.layers.MaxPooling2D))]
activation_model = keras.Model(inputs=model.input, outputs=layer_outputs)
activations = activation_model.predict(img_tensor)

第一层激活值的第5个通道可视化后显示了一个对角边缘检测器：

import matplotlib.pyplot as plt
plt.matshow(activations[0][0, :, :, 5], cmap="viridis")

当我们可视化所有层的激活值时，发现了三个重要现象：

第一层充当边缘检测器，保留了原始图像的几乎所有信息
层数越深，特征越抽象，从简单边缘到“猫耳朵”、“猫眼睛”等高层次概念
激活值稀疏度随层数增加，高层中许多滤波器未被激活

关键洞察：深度神经网络就像信息蒸馏管道，从原始数据中逐步过滤无关细节，提炼出对分类有用的抽象概念。这与人类感知类似——我们记住的是“自行车”这个概念，而不是每辆自行车的具体外观细节。

方法二：可视化CNN滤波器

第二种方法通过梯度上升显示每个滤波器响应的视觉模式。我们从空白图像开始，调整像素值以最大化特定滤波器的响应。

使用预训练的Xception模型

我们使用在ImageNet上预训练的Xception模型：

model = keras.applications.Xception(weights='imagenet', include_top=False)

选择特定卷积层并创建特征提取器：

layer_name = "block3_sepconv1"
layer = model.get_layer(name=layer_name)
feature_extractor = keras.Model(inputs=model.input, outputs=layer.output)

通过梯度上升生成滤波器模式：

import tensorflow as tf

defgenerate_filter_pattern(filter_index, steps=30, learning_rate=10.0):
    img_width, img_height = 200, 200
    img = tf.random.uniform((1, img_width, img_height, 3)) * 0.1

for step in range(steps):
with tf.GradientTape() as tape:
            tape.watch(img)
            activation = feature_extractor(img)
            filter_activation = activation[:, 2:-2, 2:-2, filter_index]
            loss = tf.reduce_mean(filter_activation)

        grads = tape.gradient(loss, img)
        grads = tf.math.l2_normalize(grads)
        img += learning_rate * grads

return img[0].numpy()

可视化block3_sepconv1层的第2个滤波器：

这个滤波器似乎响应水平线模式，类似于水或毛皮的纹理。

当我们可视化不同层的滤波器时，可以看到明显的层次结构：

前几层：简单边缘和颜色检测器
中间层：边缘和颜色组合的简单纹理
高层：复杂自然纹理，如羽毛、眼睛、树叶

方法三：可视化类激活热力图

类激活热力图显示图像中哪些区域对特定分类决策贡献最大，这对于模型可解释性和目标定位特别有用。

我们使用Grad-CAM方法，计算类别相对于最后一个卷积层通道的梯度，并用这些梯度对特征图进行加权。

示例：非洲象识别

加载并预处理大象图像：

img_path = 'elephants.png'
img = image.load_img(img_path, target_size=(299, 299))
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)
x = keras.applications.xception.preprocess_input(x)

模型预测为"非洲象"的概率为87%。我们想知道模型是如何做出这个判断的。

创建Grad-CAM模型：

last_conv_layer_name = "block14_sepconv2_act"
last_conv_layer = model.get_layer(last_conv_layer_name)

grad_model = keras.Model(
    inputs=model.input,
    outputs=[last_conv_layer.output, model.output]
)

计算梯度和热力图：

with tf.GradientTape() as tape:
    last_conv_layer_output, preds = grad_model(x)
    class_channel = preds[:, african_elephant_index]

grads = tape.gradient(class_channel, last_conv_layer_output)
pooled_grads = tf.reduce_mean(grads, axis=(0, 1, 2))

last_conv_layer_output = last_conv_layer_output[0]
heatmap = last_conv_layer_output @ pooled_grads[..., tf.newaxis]
heatmap = tf.squeeze(heatmap)

# 规范化热力图
heatmap = tf.maximum(heatmap, 0) / tf.math.reduce_max(heatmap)
heatmap = heatmap.numpy()

单独的热力图显示了模型关注的区域：

将热力图叠加到原始图像上：

import matplotlib.cm as cm

heatmap = np.uint8(255 * heatmap)
jet = cm.get_cmap("jet")
jet_colors = jet(np.arange(256))[:, :3]
jet_heatmap = jet_colors[heatmap]

jet_heatmap = keras.preprocessing.image.array_to_img(jet_heatmap)
jet_heatmap = jet_heatmap.resize((img.shape[1], img.shape[0]))
jet_heatmap = keras.preprocessing.image.img_to_array(jet_heatmap)

superimposed_img = jet_heatmap * 0.4 + img