Modul sebelumnya memperkenalkan konsep kerugian. Di sini, dalam modul ini, Anda akan mempelajari bagaimana model machine learning secara berulang mengurangi kerugian.
Pembelajaran berulang mungkin mengingatkan Anda pada permainan anak-anak "Panas dan Dingin" untuk menemukan objek tersembunyi seperti pelindung ujung jari. Dalam permainan ini, "objek tersembunyi" adalah model terbaik yang mungkin. Anda akan mulai dengan tebakan liar ("Nilai \(w_1\) adalah 0.") dan menunggu sistem untuk memberi tahu berapa kerugiannya. Lalu, Anda akan mencoba tebakan lain ("Nilai \(w_1\) adalah 0,5") dan melihat berapa kerugiannya. Aah, Anda makin hangat. Sebenarnya, jika Anda memainkan permainan ini dengan benar, biasanya Anda akan semakin hangat. Trik sebenarnya untuk game ini adalah mencoba menemukan model terbaik seefisien mungkin.
Gambar berikut menunjukkan proses uji coba berulang yang digunakan algoritma machine learning untuk melatih model:
Gambar 1. Pendekatan iteratif untuk melatih model.
Kita akan menggunakan pendekatan berulang yang sama ini di Kursus Singkat Machine Learning, yang merinci berbagai detail, terutama dalam awan badai yang berlabel "Model (Fungsi Prediksi)". Strategi berulang biasa digunakan dalam machine learning, terutama karena strategi tersebut diskalakan dengan baik ke set data yang besar.
"Model" ini menggunakan satu atau beberapa fitur sebagai input dan menampilkan satu prediksi sebagai output. Untuk menyederhanakan, pertimbangkan model yang menggunakan satu fitur (\(x_1\)) dan menampilkan satu prediksi (\(y'\)):
Berapa nilai awal yang harus kita tetapkan untuk \(b\) dan \(w_1\)? Untuk masalah regresi linier, ternyata nilai awal tidak penting. Kita dapat memilih nilai acak, tetapi kita hanya akan mengambil nilai-nilai sederhana berikut ini:
- \(b\) = 0
- \(w_1\) = 0
Misalkan nilai fitur pertama adalah 10. Memasukkan nilai fitur tersebut ke dalam fungsi prediksi akan menghasilkan:
Bagian "Menghitung Kerugian" dari diagram adalah fungsi kerugian yang akan digunakan oleh model. Misalkan kita menggunakan fungsi kerugian kuadrat. Fungsi loss menggunakan dua nilai input:
- \(y'\): Prediksi model untuk fitur x
- \(y\): Label yang benar sesuai dengan fitur x.
Terakhir, kita telah mencapai bagian "Menghitung pembaruan parameter" dari diagram. Di sinilah sistem machine learning memeriksa nilai fungsi kerugian dan menghasilkan nilai baru untuk \(b\) dan \(w_1\). Untuk saat ini, anggap saja bahwa kotak misterius ini menyusun nilai baru, lalu sistem machine learning akan mengevaluasi ulang semua fitur tersebut berdasarkan semua label tersebut, sehingga menghasilkan nilai baru untuk fungsi kerugian, yang menghasilkan nilai parameter baru. Kemudian, pembelajaran terus melakukan iterasi sampai algoritma menemukan parameter model dengan kerugian serendah mungkin. Biasanya, lakukan iterasi sampai kerugian keseluruhan berhenti berubah atau setidaknya perubahannya sangat lambat. Saat hal itu terjadi, kita dapat mengatakan bahwa model telah konvergen.