大数跨境
0
0

GNN如何建模时空信息?「时空图神经网络」综述,简明阐述时空图神经网络方法

GNN如何建模时空信息?「时空图神经网络」综述,简明阐述时空图神经网络方法 极市平台
2023-02-09
2
↑ 点击蓝字 关注极市平台
来源丨专知
编辑丨极市平台

极市导读

 

近年来,各种时序图神经网络算法被提出,并在多个时间相关应用中取得了优于其他深度学习算法的性能。本综述讨论了与时空图神经网络相关的有趣主题,包括算法、应用和开放挑战。 >>加入极市CV技术交流群,走在计算机视觉的最前沿

这些强大的算法在过去几年中获得了巨大的兴趣。然而,这种性能是基于静态图结构假设的,这限制了图神经网络在数据随时间变化时的性能。时序图神经网络是考虑时间因素的图神经网络的扩展。
近年来,各种时序图神经网络算法被提出,并在多个时间相关应用中取得了优于其他深度学习算法的性能。本综述讨论了与时空图神经网络相关的有趣主题,包括算法、应用和开放挑战。

论文地址:https://arxiv.org/abs/2301.10569

1. 引言

图神经网络(GNN)是一类深度学习模型,专门设计用于处理图结构数据。这些模型利用图拓扑来学习图的节点和边的有意义表示。图神经网络是传统卷积神经网络的扩展,在图分类、节点分类和链接预测等任务中被证明是有效的。GNNs的关键优势之一是,即使在基础图的规模增长时,它们也能保持良好的性能,这是因为可学习参数的数量独立于图中节点的数量。图神经网络(GNN)已被广泛应用于各种领域,如推荐系统、药物发现和生物学以及自治系统中的资源分配。然而,这些模型仅限于静态图数据,其中图结构是固定的。近年来,时变图数据引起了人们越来越多的关注,它出现在各种系统中并携带有价值的时间信息。时变图数据的应用包括多元时间序列数据、社交网络、视听系统等。
为了满足这一需求,出现了一种新的GNN族:时空GNN,通过学习图结构的时间表示,同时考虑了数据的空间和时间维度。本文对最先进的时空图神经网络进行了全面的回顾。本文首先简要概述不同类型的时空图神经网络及其基本假设。更详细地研究了时空GNN中使用的特定算法,同时也为这些模型的分组提供了有用的分类法。本文还概述了时空GNN的各种应用,强调了这些模型已被用于取得最先进结果的关键领域。最后,讨论了该领域面临的挑战和未来的研究方向。总之,本综述旨在对时空图神经网络进行全面和深入的研究,强调该领域的现状、仍然需要解决的关键挑战,以及这些模型令人兴奋的未来可能性。

2. 算法

时空图神经网络从算法角度可分为基于谱的和基于空间的两类。另一个分类类别是引入时变的方法:另一个机器学习算法或在图结构中定义时间。
2.1 混合时空图神经网络
混合时空图神经网络由两个主要组件组成:空间组件和时间组件。在混合时空图神经网络中,利用图神经网络算法对数据中的空间依赖关系进行建模。
2.2 Solo-Graph神经网络
在时空图神经网络中建模时间的另一种方法是在GNN本身中定义时间框架。提出了多种方法,包括:将时间定义为边,将时间作为信号输入到GNN,将时间建模为子图,以及将其他机器学习架构夹在GNN中(图2)。

3. 应用

3.1 多变量时间序列预测
受图神经网络处理关系依赖[10]能力的启发,时空图神经网络被广泛应用于多变量时间序列预测。应用包括流量预测,Covid预测,光伏电力消耗,RSU通信和地震应用。
3.2人物交互
在机器学习和计算机视觉中,时空域学习仍然是一个非常具有挑战性的问题。主要的挑战是如何在大的时空上下文[18]中建模对象和更高层次的概念之间的交互。在这样一个困难的学习任务中,有效地对空间关系、局部外观以及随着时间发生的复杂交互和变化进行建模是至关重要的。[18]引入了一种时空图神经网络模型,在空间和时间上循环,适合捕捉不断变化的世界场景[18]中不同实体和物体的局部外观和复杂的高层交互。
3.3 动态图表示
时序图表示学习一直被认为是图机器学习中一个非常重要的方面[15,31]。针对现有方法依赖时序图的离散快照而不能捕获强大表示的局限性,[3]提出了一种基于时空图神经网络的动态图表示学习方法。此外,[15]如今使用时空GNN动态表示脑图。多目标跟踪视频中的多目标跟踪严重依赖于对目标之间的时空交互进行建模[16]。[16]提出了一种时空图神经网络算法,对对象之间的空间和时间交互进行建模。
3.4 手语翻译
手语采用视觉-手动方式来传达含义,是聋人和重听群体的主要交流工具。为了缩小口语用户和手语用户之间的交流鸿沟,机器学习技术被引入其中。传统上,神经机器翻译被广泛采用,但需要更先进的方法来捕捉手语的空间属性。[13]提出了一种基于时空图神经网络的手语翻译系统,该系统在捕捉手语的时空结构方面具有强大的能力,与传统的神经机器翻译方法[13]相比,取得了最好的性能。
3.5 技术增长排名
了解技术的增长率是技术部门业务战略的核心关键。此外,预测技术的增长速度和相互之间的关系,有助于在产品定义、营销策略和研发方面的商业决策。[32]提出了一种基于时空图神经网络的社交网络技术增长排名预测方法。

4. 结论

图神经网络在过去几年中获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧氏空间。然而,图神经网络限于静态图结构假设,限制了图神经网络在数据随时间变化时的性能。时序图神经网络是考虑时间因素的图神经网络的扩展。本文对时空图神经网络进行了全面的概述。本文提出了一种分类法,基于时变方法将时空图神经网络分为两类。还讨论了时空图神经网络的广泛应用。最后,根据当前时空图神经网络面临的公开挑战,提出了未来的研究方向。
参考资料:
https://arxiv.org/abs/2301.10569

公众号后台回复“数据集”获取100+数据集分类汇总资源

极市干货

技术干货损失函数技术总结及Pytorch使用示例深度学习有哪些trick?目标检测正负样本区分策略和平衡策略总结

实操教程GPU多卡并行训练总结(以pytorch为例)CUDA WarpReduce 学习笔记卷积神经网络压缩方法总结

极市原创作者激励计划 #


极市平台深耕CV开发者领域近5年,拥有一大批优质CV开发者受众,覆盖微信、知乎、B站、微博等多个渠道。通过极市平台,您的文章的观点和看法能分享至更多CV开发者,既能体现文章的价值,又能让文章在视觉圈内得到更大程度上的推广,并且极市还将给予优质的作者可观的稿酬!

我们欢迎领域内的各位来进行投稿或者是宣传自己/团队的工作,让知识成为最为流通的干货!

对于优质内容开发者,极市可推荐至国内优秀出版社合作出书,同时为开发者引荐行业大牛,组织个人分享交流会,推荐名企就业机会等。


投稿须知:
1.作者保证投稿作品为自己的原创作品。
2.极市平台尊重原作者署名权,并支付相应稿费。文章发布后,版权仍属于原作者。
3.原作者可以将文章发在其他平台的个人账号,但需要在文章顶部标明首发于极市平台

投稿方式:
添加小编微信Fengcall(微信号:fengcall19),备注:姓名-投稿

点击阅读原文进入CV社区

收获更多技术干货

【声明】内容源于网络
0
0
极市平台
为计算机视觉开发者提供全流程算法开发训练平台,以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
内容 8155
粉丝 0
极市平台 为计算机视觉开发者提供全流程算法开发训练平台,以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
总阅读5.7k
粉丝0
内容8.2k