Regularisasi untuk Ketersebaran: Latihan Playground

Menguji Regularisasi L1

Latihan ini berisi kumpulan data pelatihan yang kecil dan memiliki sedikit derau. Dalam setelan semacam ini, overfitting adalah masalah yang nyata. Regularisasi dapat membantu, namun regularisasi dalam bentuk yang mana?

Latihan ini terdiri dari lima tugas yang berhubungan. Untuk memudahkan perbandingan kelima tugas tersebut, jalankan setiap tugas di tab terpisah. Perhatikan ketebalan garis yang menghubungkan FITUR dan KELUARAN yang mewakili bobot relatif dari setiap fitur.

Tugas Jenis Regularisasi Derajat Regularisasi (lambda)
1 L2 0,1
2 L2 0,3
3 L1 0,1
4 L1 0,3
5 L1 eksperimen

Pertanyaan:

  1. Mengapa peralihan dari regularisasi L2 ke L1 dapat memengaruhi variasi variabel antara kerugian pengujian dan kerugian pelatihan?
  2. Mengapa peralihan dari regularisasi L2 ke L1 dapat memengaruhi bobot yang dipelajari?
  3. Mengapa peningkatan derajat regularisasi L1 (lambda) dapat memengaruhi bobot yang dipelajari?

(Jawaban muncul tepat di bawah latihan.)