Regularisasi L1
Pelajari opsi di bawah ini.
Bayangkan model linear dengan fitur input 100:
10 sangat informatif.
90 tidak informatif.
Asumsikan bahwa semua fitur memiliki nilai antara -1 dan 1.
Manakah dari pernyataan berikut ini yang tepat?
Regularisasi L1 akan mendorong banyak bobot non-informatif mendekati (tetapi tidak persis) 0,0.
Secara umum, regularisasi L1 lambda yang memadai cenderung mendorong fitur yang tidak informatif menjadi berbobot 0,0.
Tidak seperti regularisasi L2, regularisasi L1 "mendorong" sekeras mungkin menuju 0,0, terlepas dari seberapa jauh bobotnya dari 0,0.
Regularisasi L1 akan mendorong sebagian besar bobot yang tidak informatif menjadi benar-benar 0,0.
Regularisasi L1 lambda yang memadai cenderung mendorong bobot yang tidak informatif menjadi benar-benar 0,0. Dengan demikian, fitur yang tidak informatif ini akan keluar dari model.
Regularisasi L1 dapat menyebabkan fitur informatif mendapatkan bobot persis 0,0.
Hati-hati--Regularisasi L1 dapat menyebabkan jenis fitur berikut diberi bobot benar-benar 0:
Fitur yang kurang informatif.
Fitur yang sangat informatif pada skala yang berbeda.
Fitur informatif berkorelasi kuat dengan fitur informatif lain yang serupa.
Regularisasi L1 vs. L2
Pelajari opsi di bawah ini.
Bayangkan model linear dengan fitur input 100, semuanya memiliki nilai antara -1 dan 1:
10 sangat informatif.
90 tidak informatif.
Jenis regularisasi mana yang akan menghasilkan model yang lebih kecil?
Regularisasi L2.
Regularisasi L2 jarang mengurangi jumlah fitur.
Dengan kata lain, regularisasi L2 jarang mengurangi ukuran model.
Regularisasi L1.
Regularisasi L1 cenderung mengurangi jumlah fitur. Dengan kata lain, regularisasi L1 sering mengurangi ukuran model.