ACM SIGKDD（国际数据挖掘与知识发现大会，简称 KDD）是世界数据挖掘领域的最高级别的学术会议，由 ACM 的数据挖掘及知识发现专委会（SIGKDD）主办。一个月前，KDD2021论文录取结果出来了，今年一共有1541篇投稿，其中238篇论文被接收，接收率为15.44%，相对比KDD2020的接收率16.9%有所下降。
1.论文名称：Breaking the Limit of Graph Neural Networks by Improving the Assortativity of Graphs with Local Mixing Patterns
论文链接：https://www.aminer.cn/pub/60ca975991e011b329373e24
图神经网络 (GNN) 通过融合网络结构和节点特征，在多个基于图的学习任务上取得了巨大成功。现代 GNN 模型建立在通过消息传递迭代聚合邻居/邻近特征的基础上。其预测性能已被证明受到图中分类混合的强烈限制，这是一个关键属性，其中具有相似属性的节点相互混合/连接。我们观察到现实世界的网络表现出异质或多样化的混合模式，并且传统的全局分类测量，例如全局分类系数，可能不是量化这种混合的代表性统计数据。我们采用了一个广义的概念，即节点级别的可分类性，一种基于节点级别的概念，以更好地表示不同的模式并准确量化 GNN 的可学习性。我们发现广泛的 GNN 模型的预测性能与节点级别的分类高度相关。为了打破这个限制，在这项工作中，我们专注于将输入图转换为一个计算图，其中包含作为不同类型边的邻近度和结构信息。由此产生的多关系图具有更高的分类水平，更重要的是，保留了原始图中的丰富信息。然后，我们建议在此计算图上运行 GNN，并表明在结构和邻近度之间进行自适应选择可以提高不同混合下的性能。根据经验，我们展示了在各种真实世界图学习基准上采用我们的转换框架进行半监督节点分类任务的好处。
2.论文名称：Graph Similarity Description: How Are These Graphs Similar?
论文链接：https://www.aminer.cn/pub/60b6e15f91e011903fc2b91b
不同平台的社交网络有何不同？信息网络如何随时间变化？回答此类问题需要我们比较两个或多个图表。此任务通常被视为测量问题，但数值答案提供的洞察力有限。在这里，我们认为如果目标是获得理解，我们应该将图相似性评估视为描述问题。我们使用最小描述长度原则将此问题形式化为模型选择任务，捕获公共模型中输入图的相似性以及它们在转换为单个模型时的差异。为了发现好的模型，我们提出了 Momo，它将问题分为两个部分，并为每个部分引入了有效的算法。通过对各种合成图和真实世界图的大量实验，我们确认 Momo 在实践中运行良好。
3.论文名称：Privacy-Preserving Representation Learning on Graphs: A Mutual Information Perspective
论文链接：https://www.aminer.cn/pub/60d996c80abde95dc965f5c2
用图学习最近引起了极大的关注。现有的图表示学习方法在节点分类、链接预测等各种图相关任务上取得了最先进的性能。然而，我们观察到这些方法可能会泄漏严重的私人信息。例如，人们可以从通过现有方法在学习到的节点表示上训练的节点分类器（或链接预测器）准确地推断出图中的链接（或节点身份）。为了解决这个问题，我们从互信息的角度提出了一种保护隐私的图表示学习框架。具体来说，我们的框架包括一个主要的学习任务和一个隐私保护任务，我们将节点分类和链接预测视为两个感兴趣的任务。我们的目标是学习节点表示，以便它们可用于实现主要学习任务的高性能，同时获得接近随机猜测的隐私保护任务的性能。我们通过互信息目标正式制定我们的目标。然而，在实践中计算互信息是棘手的。然后，我们为互信息项导出易处理的变分边界，其中每个边界都可以通过神经网络进行参数化。接下来，我们训练这些参数化神经网络来近似真实的互信息并学习隐私保护节点表示。我们最终在各种图形数据集上评估我们的框架。
4.论文名称：Global Neighbor Sampling for Mixed CPU-GPU Training on Giant Graphs
论文链接：https://www.aminer.cn/pub/60c7fea791e0110a2be238c4
图神经网络 (GNN) 是从图数据中学习的强大工具，广泛用于各种应用，例如社交网络推荐、欺诈检测和图搜索。这些应用程序中的图通常很大，通常包含数亿个节点。在如此大的图上有效地训练 GNN 模型仍然是一个巨大的挑战。尽管已经提出了许多基于采样的方法来支持大图上的小批量训练，但这些方法还没有被证明适用于真正的工业规模图，这需要 GPU 或混合 CPU-GPU 训练。最先进的基于采样的方法通常没有针对这些真实世界的硬件设置进行优化，其中 CPU 和 GPU 之间的数据移动是一个瓶颈。为了解决这个问题，我们提出了 Global Neighborhood Sampling，旨在在巨型图上训练 GNN，专门用于混合 CPU-GPU 训练。该算法定期对所有小批量节点的全局缓存进行采样，并将它们存储在 GPU 中。这种全局缓存允许对小批量进行 GPU 内重要性采样，从而大大减少小批量中的节点数量，尤其是在输入层，以减少 CPU 和 GPU 之间的数据复制以及小批量计算，而不会影响训练收敛速度或模型精度。我们提供了该方法的高效实现，并表明我们的实现在巨图上以 2X-4X 的因子优于高效的节点级邻居采样基线。它比 LADIES 的小层有效实现高 2X-14 倍，同时实现了比 LADIES 高得多的精度。我们还从理论上分析了所提出的算法，并表明使用适当大小的缓存节点数据，它具有可比的收敛速度作为底层的节点采样方法。
阅读原文，了解更多论文！