学习率决定什么：衰减策略与训练曲线
学习率是训练里最敏感的超参数——太大 loss 爆炸，太小 loss 不动。这篇讲清怎么判断学习率过大过小，以及 StepLR、CosineAnnealing 等衰减策略怎么选。
StepLR
和「StepLR」相关的文章都收在这里，方便沿着同一个主题继续读下去。
标签归档
同一主题下的内容，会更容易看出思路是怎么慢慢长出来的。
全部文章
和「StepLR」相关的文章都收在这里，方便沿着同一个主题继续读下去。
同一主题下的内容，会更容易看出思路是怎么慢慢长出来的。
学习率是训练里最敏感的超参数——太大 loss 爆炸，太小 loss 不动。这篇讲清怎么判断学习率过大过小，以及 StepLR、CosineAnnealing 等衰减策略怎么选。