檢查 L₂ 正則化

這項練習包含小型、雜訊的小型訓練資料集。 在這樣的背景下，過度配適是一個真正的問題。幸運的是 正規化程序可能會有幫助

這項練習包含三項相關工作。簡化比較流程 跨三項任務，請在個別分頁中執行每項工作。

• 工作 1：按照指定的時間，執行至少 500 個訓練週期的模型。注意事項 包括：
  • 測試損失。
  • 測試損失與訓練損失之間的差異。
  • 學到的特徵和特徵的權重。 (從特徵到輸出的每條線的相對厚度 代表該特徵或交叉特徵的學習權重。 只要將遊標懸停在 )。
• 工作 2：建議在另一個分頁中執行這項工作。提高 正則化率從 0 到 0.3。接著，執行 訓練出至少 500 個訓練週期，並找到以下問題的答案：
  • 工作 2 中的測試損失與工作中的測試損失有何不同？ 1？
  • 工作 2 中的測試損失和訓練損失的差異如何 和工作 1 的不同之處呢？
  • 各項特徵和交叉特徵的學習權重有何不同？ 任務 2 到工作 1？
  • 針對模型的複雜度，您的結果如何？
• 任務 3：嘗試一般化率，嘗試找出 最佳價值。

(答案會顯示在運動正下方)。

---

---

按一下加號圖示即可查看解答。

將正則化率從 0 提升至 0.3 會產生以下結果 影響：

• 測試損失顯著下降。

  注意：雖然測試損失會降低，但訓練損失實際上 增加。這是正常情況，因為您已新增其他 減去損失函式的字詞，藉此懲罰複雜性。最終 關鍵在於測試損失，因為這是模型 對新資料做出良好的預測

• 測試損失和訓練損失的差異顯著下降。
• 特徵和某些交叉特徵的權重較低 絕對值，暗示模型複雜度下降。

由於資料集具有隨機性，因此可能無法預測 「正則化率」可為您爭取到最佳結果 以 0.3 或 1 的正規化率 測試損失的最小單位