Kecepatan Pembelajaran dan Konvergensi
Ini adalah latihan pertama dari beberapa latihan Playground. Playground adalah program yang dikembangkan secara khusus untuk kursus ini guna mengajarkan prinsip-prinsip machine learning. Setiap latihan Playground dalam kursus ini mencakup instance playground yang tersemat dengan preset.
Setiap latihan Playground menghasilkan set data. Label untuk {i>dataset<i} ini memiliki dua kemungkinan nilai. Anda dapat menganggap kedua nilai yang memungkinkan tersebut sebagai spam vs. bukan spam, atau mungkin pohon yang sehat vs. pohon yang sakit. Tujuan dari sebagian besar latihan ini adalah menyesuaikan berbagai hyperparameter untuk membuat model yang berhasil mengklasifikasikan (memisahkan atau membedakan) satu nilai label dengan yang lainnya. Perhatikan bahwa sebagian besar set data berisi sejumlah noise tertentu yang akan membuat pengklasifikasian setiap contoh tidak mungkin dilakukan.
Klik ikon plus untuk mendapatkan penjelasan tentang visualisasi model.
Setiap latihan Playground menampilkan visualisasi status model saat ini. Misalnya, berikut ini visualisasinya:
Perhatikan hal-hal berikut tentang visualisasi model:
- Setiap sumbu mewakili fitur tertentu. Dalam kasus spam vs. bukan spam, fiturnya dapat berupa jumlah kata dan jumlah penerima email.
- Setiap titik menandai nilai fitur untuk satu contoh data, misalnya email.
- Warna titik mewakili class tempat contoh tersebut. Misalnya, titik biru dapat mewakili email non-spam, sedangkan titik oranye dapat mewakili email spam.
- Warna latar belakang mewakili prediksi model tempat contoh warna tersebut seharusnya ditemukan. Latar belakang biru di sekitar titik biru menandakan bahwa model memprediksi contoh tersebut dengan benar. Sebaliknya, latar belakang oranye di sekitar titik biru berarti bahwa model salah memprediksi contoh tersebut.
- Warna latar belakang biru dan oranye diskalakan. Misalnya, sisi kiri visualisasi berwarna biru solid, tetapi secara bertahap memudar menjadi putih di tengah visualisasi. Anda dapat menganggap kekuatan warna menunjukkan keyakinan model terhadap tebakannya. Jadi, biru solid berarti bahwa model sangat yakin dengan tebakannya dan biru muda berarti model kurang yakin. (Visualisasi model yang ditunjukkan pada gambar adalah melakukan tugas prediksi yang buruk.)
Gunakan visualisasi untuk menilai kemajuan model Anda. ("Luar biasa—sebagian besar titik biru memiliki latar belakang biru" atau "Oh tidak! Titik biru memiliki latar belakang oranye.") Selain warna, Playground juga menampilkan kerugian model saat ini secara numerik. ("Oh, tidak! Kerugian terus naik, bukan turun.")
Antarmuka untuk latihan ini menyediakan tiga tombol:
| Ikon | Nama | Fungsi |
|---|---|---|
|
Reset | Mereset Iterasi ke 0. Mereset semua bobot yang telah dipelajari model. |
|
Langkah | Maju satu iterasi. Dengan setiap iterasi, model berubah—terkadang pelan dan terkadang drastis. |
|
Buat ulang | Membuat set data baru. Tidak mereset Iterasi. |
Dalam latihan Playground pertama ini, Anda akan bereksperimen dengan kecepatan pembelajaran dengan melakukan dua tugas.
Tugas 1: Perhatikan menu Kecepatan pembelajaran di kanan atas Playground. Kecepatan pembelajaran yang ditentukan—3—sangat tinggi. Amati pengaruh Kecepatan pembelajaran yang tinggi tersebut terhadap model Anda dengan mengklik tombol "Langkah" 10 atau 20 kali. Setelah setiap iterasi awal, perhatikan bagaimana visualisasi model berubah secara dramatis. Anda bahkan mungkin melihat ketidakstabilan setelah model tersebut tampak dikonvergensi. Perhatikan juga garis yang berjalan dari x1 dan x2 pada visualisasi model. Bobot dari garis tersebut menunjukkan bobot fitur tersebut dalam model. Artinya, garis tebal menunjukkan bobot yang tinggi.
Tugas 2: Lakukan tindakan berikut:
- Tekan tombol Reset.
- Turunkan Kecepatan pembelajaran.
- Tekan tombol Langkah beberapa kali.
Bagaimana pengaruh kecepatan pembelajaran yang lebih rendah terhadap konvergensi? Periksa jumlah langkah yang diperlukan agar model dikonvergensi, serta seberapa lancar dan stabil model tersebut dikonvergensi. Lakukan eksperimen dengan nilai kecepatan pembelajaran yang lebih rendah lagi. Apakah Anda dapat menemukan kecepatan pembelajaran yang terlalu lambat sehingga tidak berguna? (Anda akan menemukan diskusi tepat di bawah latihan.)