Menguji Regularisasi L₁

Latihan ini berisi pelatihan kecil, sedikit berisik, set data. Dalam situasi seperti ini, overfitting merupakan masalah yang nyata. Regularisasi dapat membantu, tetapi dalam bentuk regularisasi yang mana?

Latihan ini terdiri dari lima tugas terkait. Untuk menyederhanakan perbandingan di lima tugas, jalankan setiap tugas di tab terpisah. Perhatikan bahwa ketebalan garis yang menghubungkan FITUR dan OUTPUT mewakili bobot relatif dari setiap fitur.

Tugas	Jenis Regularisasi	Rasio Regularisasi (lambda)
1	L2	0,1
2	L2	0,3
3	R1	0,1
4	R1	0,3
5	R1	eksperimen

Pertanyaan:

1. Cara beralih dari regularisasi L₂ ke L₁ memengaruhi delta antara kerugian pengujian dan kerugian pelatihan?
2. Cara beralih dari regularisasi L₂ ke L₁ mempengaruhi bobot yang dipelajari?
3. Bagaimana peningkatan tingkat regularisasi L₁ (lambda) bobot yang telah dipelajari?

(Jawaban muncul tepat di bawah latihan.)

---

---

Klik ikon plus untuk jawaban.

1. Beralih dari regularisasi L₂ ke L₁ secara drastis mengurangi delta antara kerugian pengujian dan kerugian pelatihan.
2. Beralih dari peredam regularisasi L₂ ke L₁ semua bobot yang telah dipelajari.
3. Meningkatkan derajat regularisasi L₁ umumnya akan mengurangi bobot yang dipelajari; Namun, jika tingkat regularisasi terlalu tinggi, model tidak bisa dikonvergensi dan kerugiannya sangat tinggi.