Regularisasi untuk Ketersebaran: Periksa Pemahaman Anda

Regularisasi L1

Pelajari opsi di bawah.

Gambarkan model linear dengan fitur input 100:
  • 10 sangat informatif.
  • 90 tidak informatif.
  • Asumsikan bahwa semua fitur memiliki nilai antara -1 dan 1. Manakah dari pernyataan berikut yang benar?
    Regularisasi L1 akan mendorong banyak bobot yang tidak informatif mendekati (namun tidak tepat) 0,0.
    Secara umum, regularisasi L1 lambda yang memadai cenderung mendorong fitur yang tidak informatif menjadi berbobot benar-benar 0,0. Tidak seperti regularisasi L2, regularisasi L1 berusaha semaksimal mungkin "mendorong" menjadi 0,0, tidak peduli seberapa jauhnya bobot dari 0,0.
    Regularisasi L1 akan mendorong sebagian besar bobot yang tidak informatif menjadi benar-benar 0,0.
    Regularisasi L1 lambda yang mencukupi cenderung mendorong bobot yang tidak informatif menjadi benar-benar 0,0. Dengan demikian, fitur yang tidak informatif ini akan meninggalkan model.
    Regularisasi L1 dapat menyebabkan fitur yang informatif mendapatkan bobot benar-benar 0,0.
    Hati-hati--regularisasi L1 dapat menyebabkan fitur dengan jenis berikut mendapatkan bobot benar-benar 0:
  • Fitur yang kurang informatif.
  • Fitur yang sangat informatif pada skala berbeda.
  • Fitur informatif yang memiliki korelasi tinggi dengan fitur informatif yang serupa.
  • Regularisasi L1 vs. L2

    Pelajari opsi di bawah.

    Gambarkan model linear dengan fitur masukan 100, kesemuanya memiliki nilai antara -1 dan 1:
  • 10 sangat informatif.
  • 90 tidak informatif.
  • Jenis regularisasi apa yang akan menghasilkan model yang lebih kecil?
    Regularisasi L2.
    Regularisasi L2 jarang mengurangi jumlah fitur. Dengan kata lain, regularisasi L2 jarang mengurangi ukuran model.
    Regularisasi L1.
    Regularisasi L1 cenderung mengurangi jumlah fitur. Dengan kata lain, regularisasi L1 sering mengurangi ukuran model.