

数据挖掘|基于轻量化GE-GRU-VAE模型的多维时间序列异常检测

汉斯出版社

2025-11-11

导读：关注汉斯出版社公众号联系小编即可投稿，还可获取最新论文模板！

点击蓝字，关注我们

导读：

在汉斯出版社《数据挖掘》期刊上，有论文提出了一种基于图嵌入GRU变分自编码器的多维时间序列异常检测模型。

基本信息：

基于轻量化GE-GRU-VAE模型的多维时间序列异常检测

Anomaly Detection in Multidimensional Time Series Based on a Lightweight GE-GRU-VAE Model

作者：

赵银祥, 冯慧芳：西北师范大学数学与统计学院，甘肃兰州

关键词:

多维时间序列；异常检测；图嵌入；GRU；变分自编码；轻量化

项目基金：

国家自然科学基金(72461030)

原文链接：

https://doi.org/10.12677/hjdm.2025.154029

内容简介：

上下滑动，查看更多

多维时间序列异常检测模型GE-GRU-VAE

本文提出的异常检测模型框架如图1所示。

1.编码器

GE-GRU-VAE模型将MLP和注意力机制作为VAE的推断网络(编码器)。编码器的输入是样本序列St ，编码器的目标是学习随机变量(即潜在变量) Zt 的近似后验分布qϕ(Zt|St) ，从而得到数据的潜在分布。假设分布qϕ(Zt|St) 的参数化表示为Θt={θti,j,i,j=1,⋅⋅⋅,N} 。

在编码器部分，MLP和多头注意力结构进行局部特征提取，获得输入数据内在特征的分布参数。其中，两层的MLP可描述为：

其中，St 为输入序列，g(⋅) 为激活函数，W1，W2 为权重矩阵，b1,b2 为偏置。

编码器中自注意力机制学习多维时间序列的依赖关系并提高潜在变量的表示能力。注意力机制是把分块操作后的数据通过不同的线性变换分别得到查询矩阵Qt 和键矩阵Kt ：

其中，Wq 和Wk 是可学习参数。通过点积计算注意力值：

通过多头注意力机制获得潜在变量的分布参数：

2.图嵌入

上述编码器构建了分布qϕ ，生成潜在变量，该变量应是一个表示其所属依赖类型的one-het向量。然而的离散化阻碍了反向传播，并在训练过程中带来了额外的麻烦，为此使用Gumbel-Softmax分类重参数化技巧：

使得反向传播成为可能，其中g 是从Gumbel(0, 1)分布中抽取的i.i.d.个样本的H 维向量，当参数τ→0 时，连续分布收敛于预期的one-het样本。我们已经得到了一组连续化的，对其做聚合操作防止信息流失。同时，可以构造如下矩阵：

3.解码器

解码器将潜在空间变量映射回输入空间，得到数据输入的重构数据。本文的解码器由一个改进的GRU (Improved GRU)和线性层(FC)构成，本文提出一种混合卷积HybridConv(⋅,⋅)对原始GRU进行改进，混合其计算公式为：

其中，W 为权重矩阵，X 和A 分别代表特征矩阵和邻接矩阵。HybridConv(⋅,⋅) 混合卷积运算能够聚合不同阶邻居的信息，以学习到节点的高层表示。改进GRU模块的结构如图2所示，具体计算公式见(8)~(10)。

4.联合优化

我们的模型是基于VAE的框架，模型损失函数由两部分构成：KL散度和重构损失，其中KL散度用于度量VAE潜在变量分布与目标分布之间的偏离程度。重构损失度量输入与重构输出之间的差异。模型重建损失的计算公式为：

KL散度损失的计算公式为：

在训练过程中，模型的损失函数包含两个优化目标，模型整体的损失函数可以表示为：

异常检测

本文通过多维时间序列嵌入图的连接强度的变化判断时间序列是否发生异常。通过训练集训练得到GE-GRU-VAE模型，再将验证集输入该模型得到输入序列的嵌入图，本文采用图的度的变化来衡量嵌入图连接强度的变化。因此，根据图的度计算异常得分，若异常得分大于阈值，则认定该序列为异常。

实验结果及分析

本文采用两个真实数据集验证模型有效性，数据集SWaT和WADI由新加坡科技设计大学的iTrust机构采集并开源。数据集的基本特征如表1所示。

本文的基线模型为GDN、LSTM-VAE、MAD-GAN、Omni Anomaly、Topo GDN和GRELEN。采用的性能评估指标包括精确率(Precision)、召回率(Recall)和F1值(F1)。

本实验在GRELEN基础上对模型进行了改进，表1为改进前后两个模型复杂度的对比。评价复杂度性能参数包括参数量Params、浮点运算次数/秒FLOPs、模型运行时间time和每个epoch运行时间Avgtime/epoch。由表2可知，在SWaT和WADI两个数据集上，本文提出的模型GE-GRU-VAE的复杂度的各个指标值均明显低于GRELEN模型的值，尤其是刻画时间复杂度的指标time和Avgtime/epoch下降最明显。该结果表明模型GE-GRU-VAE在时间和空间复杂度上均优于模型GRELEN。表3为GE-GRU-VAE与基准模型性能比较。

结论

在工业应用中，时间序列的无监督异常检测至关重要，因为它能显著减少人工干预的需求。但多变量时间序列因其特征维度和时间维度而构成复杂挑战。本文提出了名为GE-GRU-VAE的多维时间序列异常检测模型，该模型结合注意力机制、图嵌入技术和VAE的无监督深度学习模型。在编码器中采用MLP和多头注意力结构进行局部特征提取，在解码器中采用图嵌入GRU进行时间序列重构，通过训练集优化训练得到最优模型，并根据双阈值异常判定方法判断序列是否异常。在两个真实数据集上的实验表明，GE-GRU-VAE具有较低的时间与空间复杂度，且具有良好的异常检测精度。未来我们不仅需要在更多数据集上检验模型的有效性，而且要改进模型，在降低复杂度的基础上，提高多维时间序列异常检测的精度。