引言

当前很多研究工作提出了用于训练分类器的启发式算法，其目的是使分类器对对抗扰动具有一定鲁棒性。然而，这些启发式算法中的大多数算法缺乏相应的理论基础做支撑。随之而来出现了关于分类器可证鲁棒性的一系列理论研究工作，即在任何输入样本点的预测在围绕在该样本点的某个集合内是一个可验证的常数。在该文中，作者首次提供了随机平滑的严格鲁棒性保证证明，论文分析表明，使用高斯噪声进行平滑会在 范数下产生可证明的鲁棒性，而且论文中验证神经网络鲁棒性的方法可以扩展到像ImageNet等足够大的神经网络中。该论文发表于ICML2019是可证鲁棒性研究领域中非常重要的一篇文章，本文对该论文的核心理论进行了详细地解读。

论文链接：https://proceedings.mlr.press/v97/cohen19c.html

代码链接：https://github.com/locuslab/smoothing

随机平滑

考虑一个从 到 的分类问题，随机平滑是从一个基础分类器 重新构造出一个分类器 。当输入为 时，平滑分类器 会输出基础分类器 最有可能输出的类别概率，当 由高斯噪声扰动时，即

鲁棒性保证

假定基础分类器分类输入 并以概率 输出类 ，以概率 输出次一级别的类。平滑分类器 在 以 半径 是鲁棒的，其中 是标准正态分布的反函数。如果用下界下界 替换 和概率上界 替换 ，则以上结论依然成立。

[th1]（多分类情况）： 令 是任何确定或随机函数，且有 。平滑分类器 的定义如下所示

进而对于任意 ，则有 ，

其中。

从定理1可以得到如下三个发现：

• 定理1对分类器 没有任何假设。这是至关重要的，因为目前尚不清楚现代深度学习架构满足哪些良好行为假设。

• 当噪声水平 较高，或最大类 的概率值较大，或其它类别概率值较低时，鲁棒性半径 是大的。

• 当鲁棒性半径 趋于 时，则 并且 。高斯分布是在所有的 空间中，所以有概率为 使得 。

（二分类情况）：假定 满足

证明： 给定一个扰动 ，为了保证 ，即需要证明分类器 分类服从高斯分布 的样本为类 的概率大于 。因为 将服从高斯分布 的样本分类为 的概率大于等于 ，这就会引出一个问题，即在所有的以大于等于 概率将 分类为类 基分类器 中，哪一个分类器 将 分类成类 有最小的概率？最坏分类器 是一个线性分类：

其决策边界正交于扰动 ，如下图所示：

最差分类器 有 的概率将 分类为 。因此为了能够让最差分类器 有大于 的概率将 分类为 ，则有公式