Penyeberangan secara berlebihan?

Sebelum Anda menonton video atau membaca dokumentasi, harap lengkapi latihan ini yang mengeksplorasi penggunaan persilangan fitur yang berlebihan.

Tugas 1: Jalankan model sebagaimana adanya, dengan semua produk silang yang diberikan baru. Apakah ada hal yang tidak terduga pada cara model menyesuaikan data? Apa masalahnya?

Tugas 2: Coba hapus berbagai fitur produk silang untuk meningkatkan kualitasnya performa (meskipun hanya sedikit). Mengapa menghapus fitur meningkatkan performa?

(Jawaban muncul tepat di bawah latihan.)

---

---

Klik ikon plus untuk jawaban Tugas 1.

Anehnya, batas keputusan model terlihat agak aneh. Secara khusus, kita akan membuat ada wilayah di kiri atas yang mengindikasikan warna biru, meskipun tidak ada dukungan yang terlihat untuk itu dalam data.

Perhatikan ketebalan relatif dari lima baris yang berjalan dari INPUT ke OUTPUT. Garis ini menunjukkan bobot relatif dari lima fitur. Garis yang berasal dari X₁ dan X₂ jauh lebih tebal daripada yang berasal dari persilangan fitur. Jadi, persilangan fitur yang berkontribusi jauh lebih sedikit terhadap model dibandingkan fitur normal (tidak silang).

Klik ikon plus untuk jawaban Tugas 2.

Menghapus semua persilangan fitur memberikan model yang lebih masuk akal (ada tidak lagi batas melengkung yang menjurus ke arah overfitting) dan membuat kerugian pengujian konvergensi.

Setelah 1.000 iterasi, kerugian pengujian akan menjadi nilai yang sedikit lebih rendah daripada saat persilangan fitur dilakukan (meskipun hasil Anda dapat sedikit bervariasi, bergantung pada set datanya).

Data dalam latihan ini pada dasarnya merupakan data linear ditambah noise. Jika kita menggunakan model yang terlalu rumit, seperti model dengan terlalu banyak silang, kita memberinya kesempatan untuk menyesuaikan dengan noise dalam data pelatihan, sering kali mengorbankan performa model dengan buruk pada data pengujian.