SGD 与 Momentum：最基础的优化器怎样更新参数
梯度下降是所有优化器的祖宗。SGD 是最朴素的实现，Momentum 加了惯性。搞懂这两个，才能理解后面 Adam 在"智能"什么。
梯度下降
和「梯度下降」相关的文章都收在这里，方便沿着同一个主题继续读下去。
标签归档
同一主题下的内容，会更容易看出思路是怎么慢慢长出来的。
梯度下降算法是什么？参数到底怎么一步步更新
梯度下降可以理解成沿着损失函数的坡度往低处走，目标是找到让模型错误更小的参数。
全部文章
和「梯度下降」相关的文章都收在这里，方便沿着同一个主题继续读下去。
同一主题下的内容，会更容易看出思路是怎么慢慢长出来的。
梯度下降是所有优化器的祖宗。SGD 是最朴素的实现，Momentum 加了惯性。搞懂这两个，才能理解后面 Adam 在"智能"什么。
梯度下降可以理解成沿着损失函数的坡度往低处走，目标是找到让模型错误更小的参数。