Regularisasi untuk Ketersebaran

Modul ini berfokus pada persyaratan khusus untuk model yang mempelajari vektor fitur yang memiliki banyak dimensi.

Regularisasi untuk Ketersebaran

  • Peringatan: Persilangan fitur yang renggang dapat meningkatkan ruang fitur secara signifikan
  • Kemungkinan masalah:
    • Ukuran model (RAM) dapat menjadi besar
    • Koefisien "derau" (menyebabkan overfit)
  • Ingin mengganjar norma bobot L0
    • Pengoptimalan tidak konveks; NP-hard
  • Ingin mengganjar norma bobot L0
    • Pengoptimalan tidak konveks; NP-hard
  • Mengistirahatkan regularisasi L1:
    • Mengganjar jumlah abs(bobot)
    • Masalah konveks
    • Mendorong ketersebaran yang tidak seperti L2