在概率论和统计学中，高斯过程（Gaussian Process）是观测值出现在一个连续域的随机过程。在高斯过程中，连续输入空间中每个点都是与一个正态分布的随机变量相关联。此外，这些随机变量的每个有限集合都有一个多元正态分布，换句话说他们的任意有限线性组合是一个正态分布。高斯过程的分布是所有那些随机变量的联合分布，正因如此，它是连续域上函数的分布。
目前，在统计学习的研究中，高斯过程仍然是研究界关注的热点，而他在强化学习、随机梯度下降、贝叶斯优化等研究热点中的应用也在本次的NeurIPS 2020会议中大放异彩。
根据AMiner-NeurIPS 2020词云图和论文可以看出，与Gaussian Process是在本次会议中的热点，下面我们一起看看Gaussian Process主题的相关论文。
论文链接：https://www.aminer.cn/pub/5ef3247091e0110c353da540?conf=neurips2020
简介：在元学习和持续学习中，已经进行了持续学习来解决经验有限的看不见的任务，但是在局限性的假设下，例如可访问的任务分布，独立且相同分布的任务以及清晰的任务描述。但是，现实世界中的物理任务经常违反这些假设，从而导致性能下降。本文提出了一种基于在线连续模型的强化学习方法，该方法不需要进行预训练即可解决任务边界未知的任务不可知问题。我们聘请专家来处理非平稳性，并使用高斯过程表示每种不同类型的动力学，以有效利用收集到的数据并表达不确定性。我们提出一种过渡，以解决流数据中的时间依赖性，并通过顺序变分推断在线更新混合。我们的方法通过为从未见过的动力学生成新模型并为以前见过的动力学重用旧模型，来可靠地处理任务分配转移。在实验中，我们的方法在非平稳任务中的性能优于其他方法，包括经典的控制方法（具有变化的动态特性和在不同驾驶场景下的决策）
论文链接：https://www.aminer.cn/pub/5e01e1c53a55ac7df001948b?conf=neurips2020
简介：在这项工作中，我们开发了一种新的近似方法，以解决具有可分解的高斯似然性和单输出潜函数的高斯过程模型的解析上难以解决的贝叶斯推断。我们的方法称为QP-与期望传播（EP）相似，但是它使L2 Wasserstein距离最小，而不是Kullback-Leibler（KL）散度。我们考虑其中非高斯似然性近似于高斯似然性的特定情况。我们证明QP具有以下特性：（1）QP匹配分位数函数而不是EP中的矩；（2）QP和EP对于近似高斯似然的均值具有相同的局部更新；（3）QP的近似似然性的局部方差估计比EP的小，从而解决了EP对方差的过高估计；（4）最佳近似高斯似然具有单变量参数化，减少了内存消耗和计算时间。此外，我们提供了EP和QP的统一解释-在相同的假设下，它们都是KL和L2 Wasserstein全局目标函数的协调下降算法。在进行的实验中，我们使用了八个真实世界的数据集，结果表明，在高斯过程二进制分类任务中，QP优于EP。
论文链接：https://www.aminer.cn/pub/5f7fdd328de39f0828397aec?conf=neurips2020
简介：在本文中，我们提出了图上的随机深高斯过程（DGPG），这是一种深高斯模型，用于学习图域中输入和输出信号之间的映射。通过变分推断得出潜在变量的近似后验分布，并通过提出的递归采样方案对证据下界进行评估和优化。我们模型的贝叶斯非参数自然特性使其能够抵制过度拟合，而富有表现力的深层结构使其具有学习复杂关系的潜力。大量实验表明，我们的方法在小尺寸（<50）和大尺寸（> 35,000）数据集中均具有出色的性能。我们表明DGPG的性能优于另一种基于高斯的方法，并且在交通流预测的艰巨任务中与最新方法相比具有竞争力。我们的模型还能够以数学原则方式捕获不确定性，并自动发现哪些顶点和特征与预测相关
论文链接：https://www.aminer.cn/pub/5f7fdd328de39f08283980c8?conf=neurips2020
简介：神经数据分析的一个共同目标是将大量的人口记录压缩成可解释的低维潜在轨迹集。可以使用基于高斯过程（GP）的方法来解决此问题，该方法可以提供不确定性量化和有原则的模型选择。但是，标准GP先验不能区分潜在的动力学过程和其他形式的时间自相关。在这里，我们以GP协方差函数的形式提出了一种新的“动态”先验轨迹族，它们表示了大多数动力学系统共有的属性：时间不可逆性。不可逆性是自治动力学系统的普遍特征，其状态轨迹遵循一致的流场，因此任何观察到的轨迹都不会反向发生。我们的新的多输出GP内核可以用作多元回归中标准内核的直接替代品，也可以用于诸如高斯过程因子分析（GPFA）等潜在变量模型中。因此，我们引入了GPFADS（具有动态结构的高斯过程因子分析），该模型使用低维，不可逆的潜在过程对单次试验神经种群活动进行建模。与先前提出的不可逆多输出内核不同，我们的内核承认Kronecker分解可实现快速且内存高效的学习和推理。我们将GPFADS应用于合成数据，并表明它可以正确恢复地面真相肖像。GPFADS还提供了jPCA的概率泛化，jPCA是最初为识别神经数据中潜在的旋转动力学而开发的一种方法。当将GPFADS应用于猴子M1神经记录时，它会以旋转的形式发现具有强大动力结构的潜在轨迹
论文链接：https://www.aminer.cn/pub/5f7fdd328de39f0828397e2e?conf=neurips2020
简介：高斯过程（GPs）是建模功能的灵活先验。但是，它们的成功取决于内核能否准确反映数据的属性。GP框架的吸引力之一是内核超参数的边际可能性通常以封闭形式提供，从而使优化和采样过程能够使这些超参数适合数据。不幸的是，由于需要求解线性系统，因此对边际可能性进行逐点评估很昂贵。因此，对超参数的空间进行搜索或采样通常会占据使用GP的实际成本。我们介绍了一种在GP回归和相关问题中识别内核超参数的方法，该方法回避了对代价高昂的边际可能性的需求。我们的策略是通过训练单个神经网络来“摊销”超参数的推理，该神经网络将消耗一组回归数据并生成内核函数的估计值，该估计值可用于不同任务。为了适应不同回归问题的维度和基数的变化，我们使用了基于分层自注意的神经网络，该网络生成超参数的估计值，该估计值与输入数据点和数据维的顺序不变。我们证明了在合成数据上训练的单个神经模型能够直接推广到几个不同的，看不见的现实世界GP用例。我们的实验表明，估计的超参数在质量上与常规模型选择程序的质量相当，同时获得的速度更快，大大加速了GP回归及其相关应用（如贝叶斯优化和贝叶斯正交）
阅读原文，直达“NeurIPS2020”会议专题，了解更多会议论文!