SGD 与 Momentum：最基础的优化器怎样更新参数
梯度下降是所有优化器的祖宗。SGD 是最朴素的实现，Momentum 加了惯性。搞懂这两个，才能理解后面 Adam 在"智能"什么。
Momentum
和「Momentum」相关的文章都收在这里，方便沿着同一个主题继续读下去。
标签归档
同一主题下的内容，会更容易看出思路是怎么慢慢长出来的。
全部文章
和「Momentum」相关的文章都收在这里，方便沿着同一个主题继续读下去。
同一主题下的内容，会更容易看出思路是怎么慢慢长出来的。
梯度下降是所有优化器的祖宗。SGD 是最朴素的实现，Momentum 加了惯性。搞懂这两个，才能理解后面 Adam 在"智能"什么。