Kami akan menghapus Kursus Singkat Machine Learning dari situs ini pada tanggal 30 Juli 2021. Versi bahasa Inggris akan tetap tersedia.

Regresi Logistik

Bukan memprediksi persis 0 atau 1, regresi logistik menghasilkan probabilitas—nilai antara 0 dan 1, secara eksklusif. Misalnya, coba lihat model regresi logistik untuk deteksi spam. Jika model memasukkan nilai 0,932 di pesan email tertentu, berarti probabilitas bahwa pesan email tersebut adalah spam adalah 93,2%. Lebih tepatnya, hal tersebut berarti bahwa dalam batasan contoh pelatihan yang tak terbatas, set contoh untuk model dengan skor prediksi 0,932 benar-benar spam adalah 93,2% dan 6,8% sisanya tidak.

Regresi Logistik

  • Bayangkan masalah memprediksikan probabilitas Kepala untuk koin yang bengkok
  • Anda mungkin menggunakan fitur seperti sudut bengkok, massa koin, dll.
  • Model apa yang paling sederhana yang dapat Anda gunakan?
  • Masalah apa yang bisa terjadi?
2 koin bengkok
  • Banyak masalah memerlukan estimasi probabilitas sebagai keluaran
  • Masukkan Regresi Logistik
  • Banyak masalah memerlukan estimasi probabilitas sebagai keluaran
  • Masukkan Regresi Logistik
  • Praktis karena estimasi probabilitas dikalibrasi
    • Misalnya, p(rumah yang akan dijual) * harga = hasil yang diharapkan
  • Banyak masalah memerlukan estimasi probabilitas sebagai keluaran
  • Masukkan Regresi Logistik
  • Praktis karena estimasi probabilitas dikalibrasi
    • Misalnya, p(rumah yang akan dijual) * harga = hasil yang diharapkan
  • Selain itu, berguna saat kita membutuhkan klasiifikasi biner
    • spam atau bukan spam? → p(Spam)

$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$

\(\text{Di mana:} \) \(x\text{: Memberikan model linear yang dikenal}\) \(1+e^{-(...)}\text{: Leburkan melalui sigmoid}\)

Grafik persamaan regresi logistik

$$ Kerugian Log = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$

Dua grafik Kerugian Log vs nilai prediksi: satu untuk nilai target 0,0 (yang melengkung ke atas dan ke kanan) dan satu untuk nilai target 1,0 (yang melengkung ke bawah dan ke kiri)
  • Regularisasi sangat penting untuk regresi logistik.
    • Ingat asimtot
    • Hal tersebut akan terus mencoba mendorong kerugian menjadi 0 di dimensi tinggi
  • Regularisasi sangat penting untuk regresi logistik.
    • Ingat asimtot
    • Hal tersebut akan terus mencoba mendorong kerugian menjadi 0 di dimensi tinggi
  • Dua strategi yang sangat berguna:
    • Regularisasi L2 (alias bobot L2 yang rusak) - menghukum bobot yang sangat besar.
    • Penghentian awal - membatasi langkah pelatihan atau kecepatan pembelajaran.
  • Regresi logistik linear sangat efisien.
    • Waktu prediksi dan pelatihan yang sangat cepat.
    • Model singkat/luas menggunakan banyak RAM.