大家的AI
机器学习Playground 试玩

游乐场

动手实验的 AI 实验室

深度学习

  • 神经网络分类器
  • 损失地形实验室

机器学习

  • KNN 近邻分类器

强化学习

  • 强化学习智能体

计算机视觉

  • 卷积视觉

Transformer

  • 注意力 Playground
神经网络分类器损失地形实验室KNN 近邻分类器强化学习智能体卷积视觉注意力 Playground
加载中…

游乐场

损失地形实验室

在同一起点上,对比 SGD、Momentum、Adam 如何在 2D 损失曲面上走出不同路径!

步数0
设置说明

▶ 播放时三种优化器同步每步下降。调高学习率可先看 SGD 振荡。

  • 学习率 η: 每步参数更新幅度。过大易发散,过小则收敛慢。
  • 动量 β: Momentum 保留上一梯度方向的比例。

损失地形

选择哪种曲面来优化?

相关章节

相关章节

深度学习中的梯度优化算法:惯性与自适应学习率学习率调度:适时放慢脚步

优化路径

紫=SGD · 蓝=Momentum · 橙=Adam · 点击画布改起点

起点最小值SGDMomentumAdam

点击画布可更改起点并重置路径

SGD · 进行中

5.3651

Momentum · 进行中

5.3651

Adam · 进行中

5.3651

相关章节

  • 深度学习中的梯度
  • 优化算法:惯性与自适应学习率
  • 学习率调度:适时放慢脚步