線形回帰: 勾配降下法演習

この演習では、パラメータの演習で作成した燃費データのグラフを再度使用します。今回は、勾配降下法を使用して、損失を最小限に抑える線形モデルの最適な重みとバイアスの値を学習します。

グラフの下にある 3 つのタスクを完了します。

このインタラクティブな可視化は、学習率を高く設定すると、点滅するビジュアルを生成する可能性があります。これは、光過敏症の方に影響を与える可能性があります。

タスク 1: グラフの下にある [学習率] スライダーを調整して、学習率を 0.03 に設定します。[開始] ボタンをクリックして、勾配降下法を実行します。

モデルのトレーニングが収束（安定した最小損失値に達する）までにどのくらいの時間がかかりますか？モデルの収束時の MSE 値は何ですか？この値を生成する重みとバイアスの値は何ですか？

プラスアイコンをクリックすると、解決策が表示されます。

学習率を 0.03 に設定すると、モデルは約 30 秒で収束し、重みとバイアスの値がそれぞれ -1.14 と 20.389 で、MSE が 2.67 になりました。これは、適切な学習率の値を選択したことを示しています。

タスク 2: グラフの下にある [リセット] ボタンをクリックして、グラフの重みとバイアスの値をリセットします。[学習率] スライダーを 1.10e^–5 前後の値に調整します。[開始] ボタンをクリックして、勾配降下法を実行します。

今回のモデルのトレーニングが収束するまでの時間について、どのようなことに気づきましたか？

プラスアイコンをクリックして解決策を表示します。

数分経過しても、モデルのトレーニングが収束しません。重みとバイアスの値を少しずつ更新すると、損失値がわずかに減少します。このことから、学習率を高くすると、勾配降下法で最適な重みとバイアスの値をより迅速に見つけられることがわかります。

タスク 3: グラフの下にある [リセット] ボタンをクリックして、グラフの重みとバイアスの値をリセットします。[学習率] スライダーを 1 まで調整します。[開始] ボタンをクリックして、勾配降下法を実行します。

グラデーション降下法を実行すると、損失値はどうなりますか？今回のモデル トレーニングが収束するまでにどのくらいの時間がかかりますか？

プラスアイコンをクリックして解決策を表示します。

損失値は、高い値（MSE が 300 を超える）で大きく変動します。これは、学習率が高すぎて、モデルのトレーニングが収束に達しないことを示しています。