Memeriksa regularisasi L₂

Latihan ini berisi set data pelatihan yang kecil dan berisik. Dalam situasi seperti ini, overfitting merupakan masalah yang nyata. Untungnya, regularisasi dapat membantu.

Latihan ini terdiri dari tiga tugas terkait. Untuk menyederhanakan perbandingan di ketiga tugas, jalankan setiap tugas di tab terpisah.

• Tugas 1: Jalankan model seperti yang diberikan minimal 500 epoch. Catatan hal berikut:
  • Kerugian pengujian.
  • Delta antara Kerugian pengujian dan Kerugian pelatihan.
  • Bobot yang dipelajari dari fitur dan persilangan fitur. (Ketebalan relatif setiap baris yang berjalan dari FITUR ke OUTPUT merepresentasikan bobot yang dipelajari untuk fitur atau persilangan fitur tersebut. Anda dapat menemukan nilai bobot yang tepat dengan mengarahkan kursor ke atas setiap baris.)
• Tugas 2: (Pertimbangkan untuk menjalankan Tugas ini di tab terpisah.) Tingkatkan regulerisasi dari 0 hingga 0,3. Kemudian, jalankan setidaknya selama 500 iterasi pelatihan dan menemukan jawaban atas pertanyaan berikut:
  • Apa perbedaan Kerugian pengujian di Tugas 2 dengan Kerugian pengujian di Tugas 1?
  • Bagaimana delta antara Kerugian pengujian dan Kerugian pelatihan di Tugas 2 berbeda dengan Tugas 1?
  • Bagaimana bobot yang dipelajari dari setiap fitur dan persilangan fitur akan berbeda dari Tugas 2 ke Tugas 1?
  • Apa yang ditunjukkan hasil Anda tentang kompleksitas model?
• Tugas 3: Bereksperimen dengan derajat regularisasi, mencoba menemukan nilai optimal.

(Jawaban muncul tepat di bawah latihan.)

---

---

Klik ikon plus untuk jawaban.

Meningkatkan derajat regularisasi dari 0 menjadi 0,3 menghasilkan hal-hal berikut efek:

• Kerugian pengujian turun secara signifikan.

  Catatan: Saat kerugian pengujian menurun, kerugian pelatihan sebenarnya meningkat. Ini wajar terjadi, karena Anda telah menambahkan istilah ke fungsi kerugian untuk menghukum kompleksitas. Pada akhirnya, semua hal yang adalah kerugian pengujian, karena itu adalah ukuran sebenarnya dari kemampuan model untuk membuat prediksi yang baik pada data baru.

• Delta antara Kerugian pengujian dan Kerugian pelatihan turun secara signifikan.
• Bobot fitur dan beberapa persilangan fitur memiliki nilai absolut, yang menyiratkan penurunan kompleksitas model.

Mengingat keacakan dalam {i>dataset<i}, tidak mungkin untuk memprediksi tingkat regularisasi yang memberikan hasil terbaik untuk Anda. Bagi kita, tingkat regularisasi 0,3 atau 1 merupakan kerugian Pengujian terendah.