Kecepatan Pembelajaran dan Konvergensi
Ini adalah latihan pertama dari beberapa latihan Playground. Playground adalah sebuah program dikembangkan khusus untuk materi ini guna mengajarkan prinsip-prinsip machine learning. Setiap latihan Playground dalam kursus ini mencakup playground tersemat instance dengan preset.
Setiap latihan Playground akan menghasilkan set data. Label untuk ini memiliki dua kemungkinan nilai. Anda bisa menganggap kedua hal itu nilai yang mungkin sebagai spam vs. bukan spam atau mungkin pohon yang sehat vs. pohon yang sakit. Tujuan sebagian besar latihan adalah menyesuaikan berbagai hyperparameter untuk membangun model yang berhasil mengklasifikasikan (memisahkan atau membedakan) nilai label dari yang lain. Perhatikan bahwa sebagian besar {i>dataset<i} berisi noise yang akan membuat keberhasilan klasifikasi setiap contoh.
Klik ikon plus untuk mendapatkan penjelasan tentang visualisasi model.
Setiap latihan Playground menampilkan visualisasi data status model. Misalnya, berikut ini visualisasinya:
Perhatikan hal berikut tentang visualisasi model:
- Setiap sumbu mewakili fitur tertentu. Dalam hal {i>spam<i} vs. bukan {i>spam,<i} fiturnya bisa berupa jumlah kata dan jumlah penerima email Anda.
- Setiap titik menandai nilai fitur untuk satu contoh data, seperti email.
- Warna titik mewakili class contoh tersebut. Misalnya, titik biru dapat mewakili email non-spam sementara titik oranye dapat mewakili email spam.
- Warna latar belakang merepresentasikan prediksi model tempat contoh dari warna itu harus ditemukan. Latar belakang biru di sekitar titik biru berarti model memprediksi contoh tersebut dengan benar. Sebaliknya, latar belakang oranye di sekitar titik biru berarti bahwa model ini salah memprediksi contoh itu.
- Latar belakang biru dan oranye disesuaikan skalanya. Misalnya, sisi kiri visualisasi berwarna biru solid tetapi secara bertahap memudar menjadi putih di tengah dari visualisasi. Anda dapat menganggap kekuatan warna sebagai menyarankan kepercayaan model dalam tebakannya. Jadi warna biru solid berarti model sangat yakin dengan tebakannya dan biru muda berarti bahwa model kurang percaya diri. (Visualisasi model yang ditampilkan dalam gambar adalah prediksi yang buruk).
Gunakan visualisasi untuk menilai progres model Anda. ("Sangat baik—sebagian besar titik biru memiliki latar belakang biru" atau "Oh, tidak! Titik-titik biru memiliki latar belakang oranye.") Selain warna, Playground juga menampilkan kerugian model saat ini secara numerik. ("Oh tidak! Kerugian semakin naik, bukan turun.")
Antarmuka untuk latihan ini menyediakan tiga tombol:
| Ikon | Nama | Kegunaan |
|---|---|---|
|
Reset | Menyetel ulang Iterasi ke 0. Mereset semua bobot yang dimiliki model pelajari sebelumnya. |
|
Langkah | Maju satu iterasi. Dengan setiap iterasi, model perubahan—kadang-kadang halus dan kadang-kadang secara dramatis. |
|
Buat ulang | Membuat set data baru. Tidak mereset Iterasi. |
Dalam latihan Playground pertama ini, Anda akan bereksperimen dengan pembelajaran dengan melakukan dua tugas.
Tugas 1: Perhatikan menu Kecepatan pembelajaran di kanan atas Taman Bermain. Kecepatan pembelajaran yang diberikan—3—sangat tinggi. Amati pengaruh Kecepatan pembelajaran tinggi tersebut terhadap model Anda dengan mengklik tombol "Langkah" tombol 10 atau 20 kali. Setelah setiap iterasi awal, perhatikan bagaimana model visualisasi berubah secara dramatis. Anda bahkan mungkin melihat ketidakstabilan setelah model tersebut tampak dikonvergensi. Perhatikan juga baris yang berjalan dari x1 dan x2 ke visualisasi model. Bobot dari garis ini menunjukkan bobot fitur tersebut dalam model. Yaitu, garis tebal menunjukkan bobot yang tinggi.
Tugas 2: Lakukan hal berikut:
- Tekan tombol Reset.
- Turunkan Kecepatan pembelajaran.
- Tekan tombol Langkah beberapa kali.
Bagaimana pengaruh kecepatan pembelajaran yang lebih rendah terhadap konvergensi? Periksa jumlah langkah yang diperlukan agar model dikonvergensi, serta seberapa lancar dan terus konvergen model. Bereksperimen dengan nilai yang lebih rendah lagi learning rate. Dapatkah Anda menemukan kecepatan pembelajaran yang terlalu lambat sehingga tidak dapat digunakan? (Anda akan temukan diskusi tepat di bawah latihan ini.)