大数跨境
0
0

近年大火的GNN是个啥?清华学者写了这本小书亲自教你|文末免费送书

近年大火的GNN是个啥?清华学者写了这本小书亲自教你|文末免费送书 学术头条
2021-06-08
1
导读:文末送书 5 本。


图是对不同对象及其相互关系的一种简洁抽象的直观数学表达,具有相互关系的数据——图结构数据在众多领域普遍存在,并得到广泛应用。随着大量数据的涌现,传统的图算法在解决一些深层次的重要问题,比如节点分类和链路预测等方面,存在很大的局限性。


而图神经网络(GNN)模型考虑了输入数据的规模、异质性和深层拓扑信息等,在挖掘深层次有效拓扑信息、提取数据的关键复杂特征和实现对海量数据的快速处理等方面,比如预测化学分子的特性、文本的关系提取和药物的相互作用,显示了令人信服的可靠性能。


事实上,图神经网络相关的研究也是愈发火热。不久前,有人分析了提交给深度学习领域顶级大会 ICLR 论文中的高频词,发现图神经网络的热度仅次于深度学习、强化学习和表征学习,已高居第 4 位。



什么是图神经网络?
近年来,深度学习在诸如计算机视觉和自然语言处理等领域取得了显著的成果。在这些任务中,数据一般是在欧几里得域中表示的。然而,在诸如物理系统建模、分子指纹学习、蛋白质作用位点预测等许多其他任务中,需要处理非欧几里得结构的图数据,这些数据包含元素之间丰富的关系信息。

图神经网络的概念最早于 2005 年由 Gori 等提出,他设计了一种用于处理图结构数据的模型。2009 年 Scarselli 等对此模型进行了详细阐述。此后陆续有关于图神经网络的新模型及应用研究被提出。近年来,随着对图结构数据研究兴趣的不断增加,图神经网络研究论文井喷,图神经网络的研究方向和应用领域都得到了很大的拓展。

图神经网络是基于深度学习的图数据处理方法。由于其卓越的性能和较好的可解释性,图神经网络近年来被广泛应用于图分析。
应用场景丰富
1、结构化场景应用

在结构化场景中,数据天然的组织结构是图结构。举例来说,图神经网络被广泛用于社交网络预测、交通流量预测、推荐系统和传统图表示学习。比如,如何使用对象–关系图对现实世界中的物理系统建模,如何预测分子的化学特性和蛋白质的生物相互作用特性,以及如何处理知识图谱建模过程中训练时没有见过的实体。

物理学

对现实世界中的物理系统进行建模是了解人类智能的最基本的一个方面。通过将对象表示为节点,将关系表示为边,我们可以基于图神经网络用一种简单而有效的方式对对象、关系和物理进行推理。



化学和生物学

分子和蛋白质是可以用图来表示的结构化实体。原子或残基为节点,化学键或链为边。通过基于图神经网络的表示学习,学习到的向量可以帮助进行药物设计、化学反应预测和相互作用预测。



预测化学反应的产物是有机化学中的一个基本问题。Kien Do 等研究者将化学反应视为图转换过程,并设计了 GTPN 模型。GTPN 使用图神经网络来学习反应物和试剂分子的表示向量,然后利用强化学习以键变化的形式预测反应物转化为产物的最佳反应路径。2019 年,John Bradshaw 等人提出了另一种观点:化学反应可以描述为分子中电子的逐步重新分布。他们的模型试图通过学习电子的运动路径分布来预测电子路径。他们用四层图神经网络表示节点和图嵌入,然后优化分解路径生成概率。

图神经网络也可以用于生物医学工程。2018 年,Sungmin Rhee 等人利用蛋白质–蛋白质相互作用网络,基于图卷积和关系网络进行了乳腺癌亚型分类。同年,Marinka Zitnik 等人提出了基于 GCN 的多元药方副作用预测模型。他们为药物和蛋白质相互作用网络建模,并分别处理不同类型的边。

知识图谱

知识图谱将知识库表示为有向图,其节点表示实体,边表示实体之间的关系,如下图所示。关系以三元组的形式存在,记为 (h,r,t),其中 3 个字母分别表示头、关系、尾。



知识图谱广泛用于推荐、Web 搜索和问题解答,为了将知识图谱有效地编码到低维连续向量空间中,图神经网络已成为一种广泛使用的有效工具,用于加入知识图谱的拓扑结构信息。链接预测和实体分类是知识图谱补全的两个主要任务。

图神经网络还可以进行知识图谱的对齐,知识图谱针对单一的语言或领域编码丰富的知识,但缺乏跨语言或跨领域的链接来弥补不同语言或不同领域间的差距。知识图谱对齐任务旨在解决这一问题。

推荐系统

为了同时考虑内容信息和用户–商品交互对推荐的影响,基于用户–商品评分图的推荐系统受到越来越多的关注。具体地说,这种方法将用户、商品和属性视为图的节点,并将三者之间的关系和行为视为边,边的值表示交互的结果。以这种方式,推荐问题被转换为针对图的链接预测问题。由于图神经网络具有强大的表示能力和较高的可解释性,因此基于图神经网络的推荐方法广受欢迎。此外图神经网络还可以用于矩阵补全、社交推荐等场景。



2、非结构化场景应用

图神经网络在非结构化场景中的应用有图像、文本、程序源代码和多智能体系统。

图像领域

图像分类是计算机视觉领域中非常基础和重要的任务,它引起了广泛的关注,并拥有许多著名的数据集。图像分类任务的最新进展得益于大数据和 GPU 强大的计算能力,这使得人们能够不用手动从数据中提取信息,从而训练相应的分类器。

但是,零样本学习(zero-shot learning)和少样本学习(few-shot learning)在图像分类领域正变得越来越流行,这是因为大多数模型可以通过利用充分的数据获得相似的性能。许多研究人员已经利用图神经网络将结构化信息纳入图像分类任务中。知识图谱可以用作指导零样本识别分类的额外信息。

文本领域

图神经网络可以应用于多类文本任务。它既可以应用于文本分类等句子级任务,也可以应用于序列标注等单词级任务。

文本分类是自然语言处理领域的一个重要且经典的问题。经典的 GCN 模型和 GAT 模型可以用于解决该问题,但是它们仅使用文档之间的结构化信息,并没有使用太多文本信息。

在序列标注中,由于图神经网络中的每个节点都有其隐状态,因此如果将句子中的每个单词都视为一个节点,就可以利用隐状态来解决序列标注问题。

以上内容部分节选自《图神经网络导论》,在不改变原意的前提下,学术君做了简要的编辑。



该书全面介绍了图神经网络的基本概念、具体模型和实际应用。书中首先概述数学基础和神经网络以及图神经网络的基本概念,介绍不同种类的图神经网络,包括卷积图神经网络、循环图神经网络、图注意力网络、图残差网络,以及几个通用框架。

此外,该书还介绍了图神经网络在结构化场景、非结构化场景和其他场景中的应用。读完该书,将对图神经网络的最新成果和发展方向有较为透彻的认识。

该书也受到了清华大学、复旦大学等教授和业内人士的推荐。其中,清华大学教授、AMiner 创始人唐杰评价道:“图神经网络是近年机器学习的研究热点,也在很多领域取得应用。这本书内容详尽,既包含对图神经网络基础的介绍,也有新的一些研究,同时还覆盖了部分应用,非常系统化,是一本非常值得推荐的书。”

学术头条粉丝专属福利来啦!

想要继续深入了解图神经网络?学术头条联合图灵教育为读者们准备了 5 本《图神经网络导论》,免费送

参与方式:留言+点赞。

今日问题:
关于图神经网络,你最看好的应用场景是什么?(不少于 50 字的相关回答,禁止 copy 原文)

学术君将会根据留言质量进行筛选,并从中选出 5 名留言点赞最高的读者,为每人送出《图神经网络导论》纸质书籍一本。

截止时间:2021 年 6 月 14 日上午 10 点。
【声明】内容源于网络
0
0
学术头条
致力于学术传播和科学普及,重点关注大模型、AI4Science 等前沿科学进展。
内容 1019
粉丝 0
学术头条 致力于学术传播和科学普及,重点关注大模型、AI4Science 等前沿科学进展。
总阅读605
粉丝0
内容1.0k