极市导读
随机最速下降法(SGD)除了算得快，还具有许多优良性质。它能够自动逃离鞍点，自动逃离比较差的局部最优点，但他也存在着一些不足之处。但在SGD已存在多种改进形式的情况下，为何大多数论文中还是选择用SGD呢？本文介绍了来自知乎的一篇优秀回答。>>加入极市CV技术交流群，走在计算机视觉的最前沿
因为SGD(with Momentum)依然常常是实践效果更好的那个方法。
在理论上和实践上，Adam家族里那些用了自适应学习率的优化器都不善于寻找flat minima。而flat minima对于generalization是很重要的。所以Adam训练得到的training loss可能会更低，但test performance常常却更差。这是很多任务里避免用自适应学习率的最主要的原因。
同时，我们对SGD的理论算是比较了解，而以Adam代表的自适应优化器是一种很heuristic、理论机制也很不清晰的方法。
问题描述里不太准确的一点是：在计算机视觉领域，SGD时至今日还是统治级的优化器。但是在自然语言处理（特别是用Transformer-based models）领域，Adam已经是最流行的优化器了。
所以为什么SGD和Adam会各有所长呢？
如果你在计算机视觉里用Adam之类的自适应优化器，得到的结果很有可能会离SGD的baseline差好几个点。主要原因是，自适应优化器容易找到sharp minima，泛化表现常常比SGD显著地差。
如果你训练Transformer一类的模型，Adam优化得更快且更好。主要原因是，NLP任务的loss landscape有很多“悬崖峭壁”，自适应学习率更能处理这种极端情况，避免梯度爆炸。基于同样的原因，计算机视觉很少用的gradient clipping在NLP任务里几乎必不可少。(可参考这篇ICLR2020 "Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity".)https://arxiv.org/abs/1905.11881
也有一些例外。虽然生成对抗网络（GAN）一般是视觉任务，但是Adam还是成为了最流行的优化器。主要原因还是在于GAN的训练是不太稳定的，它的loss landscape和正常的视觉任务很不同。大家对训练GAN的追求是能稳定就足够好了，flat minima对GAN的意义还不是很明确。
对于比较极端的loss landscape，Adam可能会比较有优势。虽然Adam不擅长找到flat minima，但Adam能比SGD（有理论上保障地）更快地逃离鞍点。
最后，很多人误以为Adam存在两个优点，但实际上并不存在。这也在一定程度上阻碍了Adam流行。
误解一，使用Adam不需要调节初始学习率。
尽管Adam默认的学习率0.001被广泛使用，但是在Adam比SGD表现好的那些领域，恰好都是重新调Adam的学习率的。比如训练GAN时大家一般用学习率0.0002，而不是0.001；而训练Transformer会需要比0.001更大的初始学习率，默认设置是学习率0.2+NOAM Scheduler。调节学习率对结果影响很大，可以说是优化器最重要的超参数。
（Adam在一般的视觉任务常常是不用调学习率的。但是这些任务里无论调不调都无法匹敌SGD。）
误解二，Adam不需要learning rate decay。
太多人有这个误解了。我甚至遇到一些工作几年的工程师、一些PhD对这个问题也有很深的误解。答案是，自适应优化器和需要不需要LR scheduler几乎是的没有关系的，他们经常需要同时（叠加）工作。
SGD和Adam的收敛性证明也都是要求learning rate最后会降到足够低的。但自适应优化器的学习率不会在训练中自动降到很低。
实际上你随便用CIFAR或者ImageNet跑一跑常见的模型就知道：训练的最后阶段，如果不主动把learning rate降下去，loss根本就不会自己收敛到一个比较小的值。你需要learning rate decay，从理论到实践上都太需要了。
推荐阅读
