Regularisasi untuk Kesederhanaan

Regularisasi berarti mengganjar kompleksitas suatu model untuk mengurangi overfitting.

Regularisasi untuk Kesederhanaan

Fungsi kerugian untuk set pelatihan menurun secara bertahap. Sebaliknya, fungsi kerugian untuk set validasi menurun, tetapi kemudian mulai naik.
  • Kita ingin menghindari kerumitan model jika memungkinkan.
  • Kita dapat menerapkan ide ini dalam pengoptimalan yang kita lakukan saat pelatihan.
  • Minimalisasi Risiko Empiris:
    • bertujuan untuk error pelatihan ringan
    • $$ \text{minimalisasi: } Kerugian(Data\;|\;Model) $$

  • Kita ingin menghindari kerumitan model jika memungkinkan.
  • Kita dapat menerapkan ide ini dalam pengoptimalan yang kita lakukan saat pelatihan.
  • Minimalisasi Risiko Struktural
    • bertujuan untuk error pelatihan ringan
    • saat menyeimbangkan kompleksitas
    • $$ \text{minimalisasi: } Kerugian(Data\;|\;Model) + kompleksitas(Model) $$

  • Bagaimana cara mendefinisikan kompleksitas(Model)?
  • Bagaimana cara mendefinisikan kompleksitas(Model)?
  • Pilih bobot yang lebih kecil
  • Bagaimana cara mendefinisikan kompleksitas(Model)?
  • Pilih bobot yang lebih kecil
  • Berbeda dari bobot ini akan menyebabkan adanya biaya
  • Dapat mengenkode ide ini melalui regularisasi L2 (alias batas)
    • kompleksitas(model) = jumlah kuadrat dari bobot
    • Mengganjar bobot yang sangat besar
    • Untuk model linear: pilih lereng yang lebih datar
    • Bayesian sebelumnya:
      • bobot harus dipusatkan di sekitar nol
      • bobot harus terdistribusi secara normal

$$ L(\boldsymbol{w}, D)\;+\;\lambda\;||\;\boldsymbol{w}\;||\;_2^2 $$

\(\text{Keterangan:}\)

\(L\text{: Bertujuan untuk error latihan ringan}\) \(\lambda\text{: Nilai skalar yang mengontrol cara bobot seimbang}\) \(\boldsymbol{w}\text{: Keseimbangan terhadap kompleksitas}\) \(^2_2\text{: Kuadrat dari}\;L_2\;\text{normalisasi dari w}\)