Memeriksa Pemahaman Anda: Proses Debug Model

Untuk pertanyaan berikut, klik pilihan Anda untuk meluaskan dan memeriksa jawaban.

Pendekatan Pemodelan

Anda dan teman Anda, Mel, seperti unicorn. Bahkan, Anda sangat menyukai unicorn, Anda memutuskan untuk memprediksi tampilan unicorn menggunakan ... machine learning. Anda memiliki set data 10.000 tampilan unicorn. Untuk setiap tampilan, set data berisi lokasi, waktu, ketinggian, suhu, kelembapan, kepadatan populasi, tutupan pohon, keberadaan pelangi, dan banyak fitur lainnya.

Anda ingin mulai mengembangkan model ML. Manakah dari pendekatan berikut yang merupakan cara yang baik untuk memulai pengembangan?
Unicorn sering muncul saat fajar dan petang. Oleh karena itu, gunakan fitur "waktu" untuk membuat model linear.
Benar. Model linear yang menggunakan satu atau dua fitur yang sangat prediktif adalah cara yang efektif untuk memulai.
Memprediksi tampilan unicorn adalah masalah yang sangat sulit. Oleh karena itu, gunakan jaringan neural dalam dengan semua fitur yang tersedia.
Salah. Memulai dengan model kompleks akan mempersulit proses debug.
Mulailah dengan model linear sederhana, tetapi gunakan semua fitur untuk memastikan model sederhana memiliki daya prediktif.
Salah. Jika Anda menggunakan banyak fitur, bahkan dengan model linear, model yang dihasilkan akan rumit dan sulit untuk di-debug.

Dasar pengukuran

Dengan menggunakan regresi dengan kehilangan error persegi rata-rata (MSE), Anda memprediksi biaya transportasi taksi menggunakan durasi, jarak, asal, dan akhir perjalanan. Anda tahu:

  • Rata-rata biaya transportasi online adalah $15.
  • Biaya perjalanan naik dengan jumlah tetap per kilometer.
  • Wahana di area pusat kota akan dikenakan biaya tambahan.
  • Perjalanan dimulai dengan biaya minimum $3.

Tentukan apakah dasar pengukuran berikut berguna.

Apakah ini garis dasar yang berguna: Setiap perjalanan dikenai biaya $15.
Ya
Benar. Biaya rata-rata adalah nilai dasar yang berguna.
Tidak
Salah. Selalu memprediksi rata-rata menghasilkan MSE yang lebih rendah daripada selalu memprediksi nilai lainnya. Oleh karena itu, menguji model terhadap dasar pengukuran ini memberikan perbandingan yang bermakna.
Hal ini bergantung pada standar deviasi biaya perjalanan.
Salah. Terlepas dari penyimpangan standar, biaya rata-rata perjalanan adalah dasar pengukuran yang berguna karena selalu memprediksi rata-rata menghasilkan MSE yang lebih rendah jika dibandingkan dengan selalu memprediksi nilai lainnya.
Apakah ini dasar pengukuran yang berguna: Model terlatih yang hanya menggunakan durasi dan asal sebagai fitur.
Ya
Salah. Anda hanya boleh menggunakan model terlatih sebagai dasar pengukuran setelah model divalidasi sepenuhnya dalam produksi. Selain itu, model yang dilatih harus divalidasi terhadap dasar pengukuran yang lebih sederhana.
Tidak
Benar. Anda hanya boleh menggunakan model terlatih sebagai dasar pengukuran setelah model divalidasi sepenuhnya dalam produksi.
Apakah ini garis dasar yang berguna: Biaya transportasi adalah jarak yang ditempuh (dalam kilometer) dikalikan dengan tarif per kilometer.
Ya
Benar. Jarak adalah faktor terpenting dalam menentukan biaya transportasi online. Oleh karena itu, dasar pengukuran yang bergantung pada jarak jauh berguna.
Tidak
Salah. Jarak adalah faktor paling penting dalam biaya perjalanan determinig. Oleh karena itu, dasar pengukuran yang bergantung pada jarak jauh berguna.
Apakah ini garis dasar yang berguna: Setiap perjalanan dikenai biaya $1. Karena model harus selalu mengalahkan dasar pengukuran ini. Jika model tidak melampaui garis dasar ini, kita dapat yakin bahwa model tersebut memiliki bug.
Ya
Salah. Ini bukan dasar pengukuran yang berguna karena selalu salah. Membandingkan model dengan dasar pengukuran yang selalu salah tidaklah cukup.
Tidak
Benar. Dasar pengukuran ini bukan pengujian yang berguna untuk model Anda.

Hyperparameter

Pertanyaan berikut menjelaskan masalah dalam melatih pengklasifikasi. Pilih tindakan yang dapat memperbaiki masalah yang dideskripsikan.

Kerugian pelatihan adalah 0,24 dan kerugian validasi adalah 0,36. Manakah dua dari tindakan berikut yang dapat mengurangi perbedaan antara pelatihan dan kerugian validasi?
Memastikan set pelatihan dan validasi memiliki properti statistik yang sama.
Benar. Jika set pelatihan dan validasi memiliki properti statistik yang berbeda, data pelatihan tidak akan membantu memprediksi data validasi.
Gunakan periodisasi untuk mencegah overfit.
Benar. Jika kerugian pelatihan lebih kecil daripada kerugian validasi, model Anda mungkin overfit ke data pelatihan. Regularisasi mencegah overfit.
Tingkatkan jumlah iterasi pelatihan.
Salah. Jika kerugian pelatihan lebih kecil daripada kehilangan validasi, model Anda biasanya akan overfit ke data pelatihan. Meningkatkan epoch pelatihan hanya akan meningkatkan overfit.
Turunkan kecepatan pembelajaran.
Salah. Memiliki kerugian validasi yang lebih besar dari kerugian pelatihan biasanya menunjukkan overfit. Mengubah kecepatan pembelajaran tidak akan mengurangi overfit.
Anda melakukan tindakan yang benar yang dijelaskan dalam pertanyaan sebelumnya, dan sekarang kerugian pelatihan dan validasi Anda menurun dari 1,0 menjadi sekitar 0,24 setelah pelatihan untuk banyak iterasi pelatihan. Manakah dari tindakan berikut yang dapat mengurangi kehilangan pelatihan lebih lanjut?
Meningkatkan kedalaman dan lebar jaringan neural Anda.
Benar. Jika kerugian pelatihan Anda tetap konstan pada 0,24 setelah pelatihan untuk banyak iterasi pelatihan, model Anda mungkin tidak memiliki kemampuan prediktif untuk menurunkan lebih lanjut kerugian. Meningkatkan kedalaman dan lebar model dapat memberikan kemampuan prediksi tambahan bagi model untuk mengurangi kehilangan pelatihan lebih lanjut.
Tingkatkan jumlah iterasi pelatihan.
Salah. Jika kerugian pelatihan Anda tetap pada 0,24 setelah pelatihan untuk banyak epoch, maka terus melatih model mungkin tidak akan menyebabkan kerugian pelatihan menurun secara signifikan.
Meningkatkan kecepatan pembelajaran.
Salah. Mengingat bahwa kerugian pelatihan tidak berkurang untuk banyak epoch pelatihan, meningkatkan kecepatan pembelajaran mungkin tidak akan menurunkan kehilangan pelatihan akhir. Sebaliknya, meningkatkan kecepatan pembelajaran dapat membuat pelatihan Anda tidak stabil dan mencegah model Anda mempelajari data.
Melakukan tindakan yang benar pada pertanyaan sebelumnya. Kerugian pelatihan model Anda menurun menjadi 0,20. Anggap Anda perlu mengurangi kerugian pelatihan model sedikit lebih banyak. Anda menambahkan beberapa fitur yang tampaknya memiliki kemampuan prediktif. Namun, kerugian pelatihan terus berfluktuasi sekitar 0,20. Manakah tiga dari opsi berikut yang dapat mengurangi kerugian pelatihan Anda?
Meningkatkan kedalaman dan lebar lapisan Anda.
Benar. Model Anda mungkin tidak memiliki kapasitas untuk mempelajari sinyal prediktif di fitur baru.
Meningkatkan epoch pelatihan.
Salah. Jika kerugian pelatihan model Anda berfluktuasi sekitar 0,20, peningkatan jumlah epoch pelatihan mungkin akan menyebabkan kerugian pelatihan model terus berfluktuasi sekitar 0,20.
Fitur tidak menambahkan informasi yang relatif terhadap fitur yang ada. Coba fitur lain.
Benar. Kemungkinan sinyal prediktif yang dienkode oleh fitur sudah ada dalam fitur yang Anda gunakan.
Turunkan kecepatan pembelajaran.
Benar. Adanya kemungkinan penambahan fitur baru membuat masalah menjadi lebih kompleks. Secara khusus, fluktuasi kerugian menunjukkan bahwa kecepatan pemelajaran terlalu tinggi dan model Anda beralih ke tingkat minimum. Dengan menurunkan kecepatan pembelajaran, model Anda akan mempelajari minimumnya.