線性迴歸：梯度下降練習

在本練習中，您將重新查看參數練習中的燃油效率資料圖表。但這次您會使用梯度下降法，為線性模型找出可將損失降到最低的最佳權重和偏差值。

完成圖表下方的三項工作。

如果將學習率設為高，這個互動式視覺化圖表可能會產生閃爍的視覺效果，進而影響對光線敏感的人。

工作 1：調整圖表下方的「學習率」滑桿，將學習率設為 0.03。點選「開始」按鈕，執行梯度下降。

模型訓練需要多久時間才能收斂 (達到穩定的最低損失值)？模型收斂時的 MSE 值為何？哪些權重和偏差值會產生這個值？

按一下加號圖示即可查看解決方案

當我們將學習率設為 0.03 時，模型大約在 30 秒內完成收斂，MSE 為 2.67，權重和偏差值分別為 -1.14 和 20.389。這表示我們已選取合適的學習率值。

工作 2：按一下圖表下方的「重設」按鈕，重設圖表中的權重和偏差值。將「Learning Rate」(學習率) 滑桿調整至 1.10e^–5 附近的值。點選「開始」按鈕，執行梯度下降。

您發現這次模型訓練收斂所需的時間有什麼不同嗎？

按一下加號圖示即可查看解決方案

幾分鐘後，模型訓練仍未收斂。權重和偏差值的小幅更新，持續導致損失值略為降低。這表示選擇較高的學習率，可讓梯度下降更快找到最佳權重和偏差值。

工作 3：按一下圖表下方的「重設」按鈕，重設圖表中的權重和偏誤值。將「學習率」滑桿調高至 1。 點選「開始」按鈕，執行梯度下降。

梯度下降執行時，損失值會發生什麼變化？這次模型訓練需要多久時間才能收斂？

按一下加號圖示即可查看解決方案

如果值偏高 (MSE 超過 300)，損失值就會大幅波動。 這表示學習率過高，模型訓練永遠無法達到收斂。