AAAI2021 | 贝叶斯优化精选论文
AMiner AI
贝叶斯优化（Bayesian optimization，BO）是一种顺序设计策略，用于对不采用任何功能形式的黑箱功能进行全局优化。它通常用于优化昂贵的评估功能。
近年来深度神经网络大火，可是神经网络的超参选择一直是一个问题，由于这个原因，贝叶斯优化开始被好多人用来调神经网络的超参，在这方面BO最大的优势是sample efficiency，也就是BO可以用非常少的步数（每一步可以想成用一组超参数来训练你的神经网络）就能找到比较好的超参数组合。另一个原因是BO不需要求导数，而正好一般情况下神经网络超参的导数是求不出来的。这两个原因导致BO成为了很好的调超参的方法。
1.论文名称：Mercer Features for Efficient Combinatorial Bayesian Optimization
论文链接：https://www.aminer.cn/pub/5fd8bd0a91e0119b22c1f4d3?conf=aaai2021
简介：贝叶斯优化（BO）是一个有效的框架，可以通过昂贵的函数评估来解决黑盒优化问题。本文讨论了在科学和工程应用中自然发生的组合空间（例如，序列和图）的BO问题设置。一个典型的例子是在昂贵的实验指导下进行分子优化。关键的挑战是平衡统计模型的复杂性和搜索的可操作性以选择组合结构进行评估。在本文中，我们提出了一种有效的方法，称为Mercer特征组合贝叶斯优化（MerCBO）。MerCBO背后的关键思想是通过利用离散组合对象的组合图表示的结构，为离散对象上的扩散内核提供显式特征图。这些Mercer功能与Thompson采样作为获取功能相结合，使我们能够利用易于求解的求解器找到下一个要评估的结构。在各种现实世界基准上进行的实验表明，MerCBO的性能与以前的方法相似或更好。
2.论文名称：Top-k Ranking Bayesian Optimization
论文链接：https://www.aminer.cn/pub/5fe1c15b91e0119a161edca5?conf=aaai2021
简介：本文提出了一种新的方法，以对排名前k的贝叶斯优化（排名前k的BO）进行优化，这是优先BO的实用且重要的概括，用于处理排名前k的k和平局/差异观察。我们首先设计一个替代模型，该模型不仅能够满足上述观察要求，而且还得到经典随机效用模型的支持。另一个同样重要的贡献是在BO中引入了具有优先观察力的第一个信息理论获取功能，称为多项式预测熵搜索（MPES），该功能可以灵活地处理这些观察值，并针对查询的所有输入进行了优化。与现有的获取功能相比，MPES具有优越的性能，现有的获取功能可以一次选择一个查询的输入。我们使用几个综合基准函数，CIFAR-10数据集和SUSHI首选项数据集凭经验评估MPES的性能。
3.论文名称：BANANAS: Bayesian Optimization with Neural Architectures for Neural Architecture Search
论文链接：https://www.aminer.cn/pub/5db6c73a3a55acec0731cee6?conf=aaai2021
简介：在过去的几年中，神经建筑搜索（NAS）的研究激增。已经提出了多种用于执行NAS的方法，包括强化学习，具有高斯过程模型的贝叶斯优化，进化搜索和梯度下降。在这项工作中，我们设计了一种使用神经网络模型执行贝叶斯优化的NAS算法。我们开发了一种基于路径的编码方案，以完善用于训练神经网络模型的神经体系结构。该策略对于在基于单元的搜索空间中对体系结构进行编码特别有效。在仅训练了200种随机神经体系结构之后，对于流行的搜索空间，我们能够预测新体系结构的验证准确度平均在其真实准确度的百分之一之内。除了贝叶斯神经体系结构搜索之外，这可能与其他人无关。我们在NASBench和DARTS搜索空间上测试了我们的算法，结果表明我们的算法优于其他NAS方法，包括进化搜索，强化学习，AlphaX，ASHA和DARTS。我们的算法比随机搜索的效率高100倍，比NASBench数据集的次优算法高3.8倍。由于在NAS领域进行公平合理且可重复的实验评估存在问题，因此我们遵循最新的NAS研究清单来促进NAS研究。特别是，我们的实施已公开发布，其中包括充分再现我们的结果所需的所有细节
4.论文名称：High-Dimensional Bayesian Optimization via Tree-Structured Additive Models
论文链接：https://www.aminer.cn/pub/5fe5b78b91e011e85bd96939?conf=aaai2021
简介：贝叶斯优化（BO）在解决昂贵的低维黑箱优化问题方面已显示出巨大的成功。许多感兴趣的优化问题都是高维的，将BO缩放到这样的设置仍然是一个重要的挑战。在本文中，我们考虑了广义加性模型，其中包含变量子集重叠的低维函数以对高维目标函数建模。我们的目标是通过降低模型复杂度，同时保留现有方法的采样效率，降低所需的计算资源并促进更快的模型学习。具体来说，我们将基础依赖图约束为树形结构，以促进结构学习和获取功能的优化。对于前者，我们提出了一种基于Gibbs采样和变异的混合图学习算法。此外，我们提出了一种基于缩放的新颖算法，该算法允许在连续域的情况下更有效地利用广义加性模型。我们通过在合成函数和真实数据集上进行的一系列实验证明并讨论了我们方法的有效性。
5.论文名称：Local Differential Privacy for Bayesian Optimization
论文链接：https://www.aminer.cn/pub/5f8815fc91e0118ce8f040c2?conf=aaai2021
简介：由于当今数据密集型在线学习系统对隐私的日益关注的推动，我们考虑了具有局部差分隐私（LDP）保证的非参数高斯过程设置中的黑盒优化。具体地，来自每个用户的奖励被进一步破坏以保护隐私，并且学习者仅能够访问被破坏的奖励以最小化后悔。我们首先得出任何LDP机制和任何学习算法的遗憾下界。然后，我们提出了基于GP-UCB框架和Laplace DP机制的三种几乎最佳的算法。在此过程中，我们还提出了一种基于均值中值技术和核逼近的新贝叶斯优化（BO）方法（称为MoMA-GP-UCB），该方法以降低复杂性的方式补充了以前的BO算法以实现重尾收益。此外，在合成数据集和实际数据集上对不同算法进行的经验比较突出了MoMA-GP-UCB在私有和非私有场景中的优越性能。
阅读原文，直达“AAAI2021”会议专题，了解更多会议论文!
AMiner AI
AI帮你理解科学
