線形回帰: 勾配降下法演習

この演習では、パラメータの演習の燃費データのグラフを再び確認します。今回は、勾配降下法を使用して、損失を最小化する線形モデルの最適な重みとバイアス値を学習します。

グラフの下にある 3 つのタスクを完了します。

このインタラクティブな可視化では、学習率を高く設定すると、明るい光に敏感なユーザーに影響する可能性がある点にご注意ください。

タスク 1: グラフの下にある [学習率] スライダーを調整して、学習率を 0.03 に設定します。[開始] ボタンをクリックして勾配降下を実行します。

モデル トレーニングが収束（安定した最小損失値に到達）するまでにどのくらいの時間がかかりますか？モデルの収束時の MSE 値はどれくらいですか？この値を生成する重みとバイアスの値はどれですか。

プラスアイコンをクリックすると、解決策が表示されます。

学習率を 0.03 に設定すると、モデルは約 30 秒後に収束し、重みとバイアスの値がそれぞれ -2.08 と 23.098 で MSE が 3 未満になりました。これは、適切な学習率の値を選択したことを示します。

注: グラフのデータポイントはページを読み込むたびに若干異なるため、ここでの解決策は Google のものと若干異なる場合があります。

タスク 2: グラフの下にある [リセット] ボタンをクリックして、グラフの重みとバイアスの値をリセットします。[学習率] スライダーを 1.10e^-5 付近の値に調整します。[開始] ボタンをクリックして勾配降下を実行します。

今回は、モデル トレーニングの収束にかかる時間にどのような違いがありますか？

プラスアイコンをクリックすると、解決策が表示されます。

数分経過しても、モデルのトレーニングが収束しません。重みとバイアスの値を少し更新すると、損失値がさらにわずかに低下します。これは、学習率を高くすると、勾配降下法で最適な重みとバイアスの値をより迅速に見つけることができることを示唆しています。

タスク 3: グラフの下にある [リセット] ボタンをクリックして、グラフの重みとバイアスの値をリセットします。[学習率] スライダーを 1 まで調整します。[開始] ボタンをクリックして勾配降下を実行します。

勾配降下法の実行中に損失値はどうなりますか？この場合、モデル トレーニングが収束するまでにどのくらいの時間がかかりますか？

プラスアイコンをクリックすると、解決策が表示されます。

損失値が大きい値（MSE が 300 を超える）で大きく変動します。これは、学習率が高すぎることを示しており、モデルのトレーニングは収束に達することはありません。