Adam 和 AdamW 为什么成为常用选择
Adam 把 Momentum 的"方向惯性"和 RMSProp 的"自适应步长"合体，开箱即用。AdamW 修复了 Adam 权重衰减的耦合 bug，成为 Transformer 的标配。
优化器
和「优化器」相关的文章都收在这里，方便沿着同一个主题继续读下去。
标签归档
同一主题下的内容，会更容易看出思路是怎么慢慢长出来的。
AdaGrad 与 RMSProp：学习率如何自动调整
SGD 给所有参数同一个学习率。但有些参数变化剧烈、有些几乎不动，统一步长不合理。AdaGrad 和 RMSProp 让每个参数有自己的自适应学习率。
SGD 与 Momentum：最基础的优化器怎样更新参数
梯度下降是所有优化器的祖宗。SGD 是最朴素的实现，Momentum 加了惯性。搞懂这两个，才能理解后面 Adam 在"智能"什么。