損失地形ラボ

▶ 再生で3つのオプティマイザが同時に1ステップずつ進みます。学習率を上げると SGD が先に振動する様子を観察できます。

• 学習率 η: 1ステップでパラメータをどれだけ動かすか。大きすぎると発散、小さすぎると遅いです。
• 慣性 β: Momentum が前の勾配をどれだけ残すかの係数です。