學習率與整合度
這是多項 Playground 練習的第一項。Playground 是專門針對這堂課程開發的計畫,旨在教導機器學習原則。本課程中的每個 Playground 練習都包含一個內嵌的遊樂場執行個體,並有預設設定。
每個 Playground 運動都會產生資料集。這個資料集的標籤有兩個可能的值。您可以將這兩個可能的值視為垃圾內容,與非垃圾內容,或是可能健康的樹木與生病的比較。大部分的練習的目標是調整各種超參數,以建構能成功分類 (分離或區分) 不同標籤值的模型。請注意,大多數資料集都包含特定數量的雜訊,因此無法成功分類每個範例。
本練習的介面提供三個按鈕:
圖示 | 名稱 | 功用 |
---|---|---|
重設 | 將 Iterations 重設為 0。重設模型已學習的任何權重。 | |
步驟 | 提前一項疊代。每次疊代後,模型都會改變,有時甚至會稍微大幅變化。 | |
重新產生 | 產生新的資料集。不會重設 Iterations。 |
在第一個 Playground 練習中,您將執行兩項工作來測試學習率。
工作 1:注意 Playground 右上方的「學習率」選單。給定的學習率 (3) 非常高。按一下「Step」按鈕 10 或 20 次,觀察高學習率對模型的影響。每次提早疊代後 請留意模型視覺呈現的變化您甚至在模型似乎已轉換「之後」,看到不穩定。另請注意,從 x1 和 x2 到模型視覺化這幾行。這些線條的權重代表模型中這些特徵的權重。也就是說,線條表示粗細。
工作 2:執行下列操作:
- 按下「重設」按鈕。
- 降低學習率。
- 按幾次「步驟」按鈕。
低學習率對收斂效果有什麼影響?請檢查模型收斂所需的步數,以及模型融合的流暢度與穩定度。試著稍微降低學習率您是否認為學習率太慢,幫不上忙?(您將可在練習下方找到討論內容)。