游乐场
在同一起点上,对比 SGD、Momentum、Adam 如何在 2D 损失曲面上走出不同路径!
▶ 播放时三种优化器同步每步下降。调高学习率可先看 SGD 振荡。
选择哪种曲面来优化?
相关章节
紫=SGD · 蓝=Momentum · 橙=Adam · 点击画布改起点
点击画布可更改起点并重置路径
SGD · 进行中
5.3651
Momentum · 进行中
Adam · 进行中