Adam

和「Adam」相关的文章都收在这里，方便沿着同一个主题继续读下去。

标签归档

同一主题下的内容，会更容易看出思路是怎么慢慢长出来的。

2026/07/22初级

Adam 把 Momentum 的"方向惯性"和 RMSProp 的"自适应步长"合体，开箱即用。AdamW 修复了 Adam 权重衰减的耦合 bug，成为 Transformer 的标配。