損失削減: 学習率の最適化

演習 1

スライダーで 0.03 の学習率を設定します。勾配降下法アルゴリズムが損失曲線の最小ポイントに達するまで、[ステップ] ボタンを押し続けます。何歩、歩きましたか?

演習 2

学習率を高めて、より早く最小限の目標を達成することはできますか?学習率を 0.1 に設定し、勾配降下法が最小になるまでステップを続けます。今回はどのくらいの歩数が必要でしたか?

演習 3

さらに学習率を高めるにはどうすればよいでしょうか。グラフをリセットして学習率を 1 に設定し、損失曲線の最小値に到達するようにします。今回は何が起こったのでしょうか。

オプションのチャレンジ

勾配降下法が最小ステップ数で最小点に到達する、この曲線の Goldilocks の学習率を探します。最小ステップまでに必要なステップ数はいくつですか。