Lebih dalam tentang ML: Pelatihan dan Kerugian

Melatih model berarti mempelajari (menentukan) bobot dan bias yang baik untuk nilai dari contoh berlabel. Dalam supervised learning, algoritme machine learning membuat model dengan memeriksa banyak contoh dan mencoba menemukan model yang meminimalkan angka kerugian; proses ini disebut minimalisasi risiko empiris.

Kerugian merupakan akibat dari prediksi yang buruk. Artinya, kerugian adalah angka yang menunjukkan seberapa buruk prediksi model terhadap satu contoh. Jika prediksi model sempurna, kerugiannya adalah nol; jika tidak, kerugiannya akan lebih besar. Tujuan pelatihan model adalah untuk menemukan set bobot dan bias yang memiliki kerugian rendah, secara rata-rata, di semua contoh. Misalnya, Gambar 3 menunjukkan model kerugian yang tinggi di sebelah kiri dan yang rendah di sebelah kanan. Dari gambar tersebut, perhatikan beberapa hal berikut:

  • Panah merah menandakan kerugian.
  • Garis biru menandakan prediksi.

Dua plot Cartesian, setiap plot menunjukkan sebuah garis dan beberapa titik data. Pada plot pertama, garisnya sangat tidak sesuai dengan data, sehingga kerugiannya tinggi. Pada plot kedua, garisnya lebih sesuai dengan data, sehingga kerugiannya rendah.

Gambar 3. Kerugian yang tinggi pada model sebelah kiri; kerugian yang rendah pada model sebelah kanan.

 

Perhatikan bahwa panah-panah merah di plot kiri jauh lebih panjang daripada panah-panah yang sebanding di plot kanan. Jelas terlihat bahwa garis biru di plot kanan adalah model prediktif yang jauh lebih baik dibandingkan garis biru di plot kiri.

Anda mungkin ingin tahu apakah Anda dapat membuat fungsi matematika—fungsi kerugian—yang akan menggabungkan kerugian individual dengan cara yang bermakna.

Kerugian kuadrat: fungsi kerugian yang populer

Model regresi linier yang akan kita kaji di sini menggunakan fungsi kerugian yang disebut kerugian kuadrat (yang juga dikenal dengan Kerugian L2). Kerugian kuadrat untuk contoh tunggal dapat ditemukan di bawah ini:

  = the square of the difference between the label and the prediction
  = (observation - prediction(x))2
  = (y - y')2

Rataan Kuadrat Galat (RKG) adalah rata-rata kerugian kuadrat per contoh di seluruh kumpulan data. Untuk menghitung RKG, jumlahkan semua kerugian kuadrat untuk setiap contoh, lalu bagi dengan jumlah contoh:

$$ RKG = \frac{1}{N} \sum_{(x,y)\in D} (y - prediksi(x))^2 $$

di mana:

  • \((x, y)\) adalah contoh di mana
    • \(x\) adalah set fitur (misalnya, bunyi kerik/menit, usia, jenis kelamin) yang digunakan model untuk membuat prediksi.
    • \(y\) adalah label contoh (misalnya, suhu).
  • \(prediksi(x)\) adalah fungsi bobot dan bias dalam kombinasi dengan set fitur \(x\).
  • \(D\) adalah kumpulan data yang berisi banyak contoh berlabel, yang merupakan pasangan \((x, y)\).
  • \(N\) adalah jumlah contoh dalam \(D\).

Meskipun RKG umum digunakan dalam machine learning, RKG bukan satu-satunya fungsi kerugian yang praktis dan bukan juga fungsi kerugian terbaik untuk semua keadaan.