TIP'24 | 基于时空知识的视频场景图生成

视频场景图生成（VidSGG）旨在识别视觉场景中的对象并推断它们之间的视觉关系。该任务不仅需要全面了解分散在整个场景中的每个对象，还需要深入研究它们在时序上的运动和交互。为此，我们进行了相关的探索，并发现：每对物体组合及其它们之间的关系在每个图像内具有空间共现相关性，并且在不同图像之间具有时间一致性/转换相关性。基于这些先验知识，我们提出了一种基于时空知识嵌入的 Transformer（STKET）将先验时空知识纳入多头交叉注意机制中，从而学习更多有代表性的视觉关系表示。具体来说，我们首先以统计方式学习空间共现和时间转换相关性。然后，我们设计了时空知识嵌入层对视觉表示与知识之间的交互进行充分探索，分别生成空间和时间知识嵌入的视觉关系表示。最后，我们聚合这些特征，以预测最终的语义标签及其视觉关系。大量实验表明，我们所提出的框架大幅优于当前竞争算法。目前，该论文已经被人工智能顶级期刊 IEEE T-IP接收。

论文链接：https://arxiv.org/abs/2309.13237

代码链接：https://github.com/HCPLab-SYSU/STKET

1. 概述

随着场景理解领域的快速发展，许多研究者们开始尝试利用各种框架解决场景图生成（Scene Graph Generation, SGG）任务，并已取得了不俗的进展。但是，这些方法往往只考虑单张图像的情况，忽略了时序中存在着的大量的上下文信息，导致现有大部分场景图生成算法在无法准确地识别所给定的视频中包含的动态视觉关系。因此，许多研究者致力于开发视频场景图生成（Video Scene Graph Generation, VidSGG）算法来解决这个问题。

目前的工作主要关注从空间和时间角度聚合对象级视觉信息，以学习对应的视觉关系表示。然而，由于各类物体与交互动作的视觉外表方差大以及视频收集所导致的视觉关系显著的长尾分布，单纯的仅用视觉信息容易导致模型预测错误的视觉关系。

针对上述问题，我们做了以下两方面的工作：

• 首先，我们提出挖掘训练样本中包含的先验时空知识用以促进视频场景图生成领域。其中，先验时空知识包括：1）空间共现相关性：某些对象类别之间的关系倾向于特定的交互。2）时间一致性/转换相关性：给定对的关系在连续视频剪辑中往往是一致的，或者很有可能转换到另一个特定关系。
• 其次，我们提出了一种新颖的基于时空知识嵌入的 Transformer (Spatial-Temporal Knowledge-Embedded Transformer, STKET) 框架。该框架将先验时空知识纳入多头交叉注意机制中，从而学习更多有代表性的视觉关系表示。根据在测试基准上得到的比较结果，我们发现我们所提出的 STKET 框架优于以前的最先进方法。

2. 基于时空知识嵌入的 Transformer

2.1. 时空知识表示

在推断视觉关系时，人类不仅利用视觉线索，还利用积累的先验知识 [1, 2]。受此启发，我们提出直接从训练集中提取先验时空知识，以促进视频场景图生成任务。其中，空间共现相关性具体表现为当给定物体组合后其视觉关系分布将高度倾斜（例如，“人”与“杯子”之间的视觉关系的分布明显不同于“狗”与“玩具”之间的分布）和时间转移相关性具体表现为当给定前一时刻的视觉关系后各个视觉关系的转换概率将大幅变化（例如，当已知前一时刻的视觉关系为“吃”时，下一时刻视觉关系转移为“书写”的概率大幅下降）。如图 2 所示，我们可以直观地感受到给定物体组合或之前的视觉关系后，预测空间可以被大幅的缩减。

具体而言，对于第 类物体与第 类物体的组合，以及其上一时刻为第 类关系的情况，我们首先通过统计的方式获得其对应的空间共现概率矩阵 和时间转移概率矩阵 。接着，我们将其输入到全连接层中得到对应的特征表示，并利用对应的目标函数确保模型所学到的的知识表示包含对应的先验时空知识。

2.2. 知识嵌入注意力层

空间知识通常包含有关实体之间的位置、距离和关系的信息。另一方面，时间知识涉及动作之间的顺序、持续时间和间隔。鉴于它们独特的属性，单独处理它们可以允许专门的建模更准确地捕获固有模式。因此，我们设计了时空知识嵌入层，彻底探索视觉表示与时空知识之间的相互作用。

2.3. 时空聚合模块

如前所述，空间知识嵌入层探索每个图像内的空间共现相关性，时间知识嵌入层探索不同图像之间的时间转移相关性，以此充分探索了视觉表示和时空知识之间的相互作用。尽管如此，这两层忽略了长时序的上下文信息，而这对于识别大部分动态变化的视觉关系具有帮助。为此，我们进一步设计了时空聚合（STA）模块来聚合每个对象对的这些表示，以预测最终的语义标签及其关系。它将不同帧中相同主客体对的空间和时间嵌入关系表示作为输入。具体来说，我们将同一对象对的这些表示连接起来以生成上下文表示。然后，为了在不同帧中找到相同的主客体对，我们采用预测的对象标签和 IoU（即并集交集）来匹配帧中检测到的相同主客体对 。最后，考虑到帧中的关系在不同批次中有不同的表示，我们选择滑动窗口中最早出现的表示。

3. 实验结果

为了全面评估所提出的框架的性能，我们除了对比现有的视频场景图生成方法（STTran, TPI, APT）外，我们也选取了先进的图像场景图生成方法（KERN, VCTREE, ReIDN, GPS-Net）进行比较。其中，为确保对比的公平，图像场景图生成方法通过对每一帧图像进行识别，从而达到对所给定视频生成对应场景图的目标。

相关成果：

T. Pu, T. Chen, H. Wu, Y. Lu, and L. Lin, "Spatial-Temporal Knowledge-Embedded Transformer for Video Scene Graph Generation", in IEEE TIP 2024. (https//ieeexplore.ieee.org/document/10375886)

T. Pu, "Video Scene Graph Generation with Spatial-Temporal Knowledge", in ACM MM 2023 - Doctoral Symposium.(https//dl.acm.org/doi/10.1145/3581783.3613433)

Reference:

[1] A. Vandenbroucke, J. Fahrenfort, J. Meuwese, H. Scholte, V. Lamme, "Prior knowledge about objects determines neural color representation in human visual cortex", in Cerebral cortex 2016.

[2] T. Chen, W. Yu, R. Chen, and L. Lin, "Knowledge-Embedded Routing Network for Scene Graph Generation", in CVPR 2018.

[3] R. Zellers, M. Yatskar, S. Thomson, and Y. Choi, "Neural Motifs: Scene Graph Parsing with Global Context", in CVPR 2018.

公众号后台回复“数据集”获取100+深度学习各方向资源整理