Regularisasi untuk Kesederhanaan: Latihan Playground (Regularisasi L2)

Memeriksa regularisasi L2

Latihan ini berisi set data pelatihan yang kecil dan berisik. Dalam setelan semacam ini, overfit adalah masalah yang nyata. Untungnya, regularisasi dapat membantu.

Latihan ini terdiri dari tiga tugas terkait. Untuk menyederhanakan perbandingan ketiga tugas tersebut, jalankan setiap tugas di tab terpisah.

  • Tugas 1: Jalankan model seperti yang diberikan setidaknya selama 500 epoch. Perhatikan hal berikut:
    • Kerugian pengujian.
    • Delta antara Kerugian pengujian dan Kerugian pelatihan.
    • Bobot yang dipelajari dari fitur dan persilangan fitur. (Ketebalan relatif setiap garis yang berjalan dari FITUR ke KELUARAN merepresentasikan bobot yang dipelajari untuk fitur tersebut atau persilangan fiturnya. Anda dapat menemukan nilai bobot yang tepat dengan mengarahkan kursor ke setiap baris.)
  • Tugas 2: (Pertimbangkan untuk menjalankan Tugas ini di tab terpisah.) Tingkatkan derajat regularisasi dari 0 menjadi 0,3. Kemudian, jalankan model setidaknya selama 500 epoch dan temukan jawaban untuk pertanyaan berikut:
    • Apa perbedaan Kerugian pengujian di Tugas 2 dan Kerugian pengujian di Tugas 1?
    • Apa perbedaan delta antara Kerugian pengujian dan Kerugian pelatihan di Tugas 2 dan Tugas 1?
    • Apa perbedaan bobot yang dipelajari dari setiap fitur dan persilangan fitur dari Tugas 2 dan Tugas 1?
    • Apa yang ditunjukkan hasil Anda tentang kompleksitas model?
  • Tugas 3: Bereksperimen dengan derajat regularisasi, mencoba menemukan nilai optimal.

(Jawaban muncul tepat di bawah latihan.)