Regresi linear: Latihan penurunan gradien

Dalam latihan ini, Anda akan melihat kembali grafik data efisiensi bahan bakar dari latihan Parameter. Namun kali ini, Anda akan menggunakan penurunan gradien untuk mempelajari nilai bobot dan bias yang optimal untuk model linear yang meminimalkan kerugian.

Selesaikan tiga tugas di bawah grafik.

Visualisasi interaktif ini dapat menghasilkan visual berkedip jika disetel ke Kecepatan Pembelajaran yang tinggi, yang dapat memengaruhi individu yang fotosensitif.

Tugas #1: Sesuaikan penggeser Kecepatan Pemelajaran di bawah grafik untuk menyetel kecepatan pemelajaran 0,03. Klik tombol Start untuk menjalankan penurunan gradien.

Berapa lama waktu yang dibutuhkan agar pelatihan model dapat berkonvergensi (mencapai nilai kerugian minimum yang stabil)? Berapa nilai MSE pada konvergensi model? Nilai bobot dan bias apa yang menghasilkan nilai ini?

Klik ikon plus untuk melihat solusi kami

Saat kita menetapkan kecepatan pembelajaran 0,03, model akan dikonvergensi dalam sekitar 30 detik, dengan mencapai MSE 2,67 dengan nilai bobot dan bias masing-masing –1,14 dan 20,389. Hal ini menunjukkan bahwa kita telah memilih nilai laju pembelajaran yang baik.

Tugas #2: Klik tombol Reset di bawah grafik untuk mereset nilai Bobot dan Bias dalam grafik. Sesuaikan penggeser Learning Rate ke nilai sekitar 1,10e^–5. Klik tombol Start untuk menjalankan penurunan gradien.

Apa yang Anda perhatikan tentang durasi yang diperlukan untuk pelatihan model agar dapat menyatu kali ini?

Klik ikon plus untuk melihat solusinya

Setelah beberapa menit, pelatihan model masih belum konvergen. Perubahan kecil pada nilai Weight dan Bias terus menghasilkan nilai kerugian yang sedikit lebih rendah. Hal ini menunjukkan bahwa memilih kecepatan pembelajaran yang lebih tinggi akan memungkinkan penurunan gradien menemukan nilai bobot dan bias yang optimal lebih cepat.

Tugas #3: Klik tombol Reset di bawah grafik untuk mereset nilai Bobot dan Bias dalam grafik. Sesuaikan penggeser Learning Rate hingga 1. Klik tombol Start untuk menjalankan penurunan gradien.

Apa yang terjadi pada nilai kerugian saat penurunan gradien berjalan? Berapa lama waktu yang diperlukan untuk melatih model agar konvergen kali ini?

Klik ikon plus untuk melihat solusinya

Nilai kerugian berfluktuasi sangat besar pada nilai tinggi (MSE di atas 300). Hal ini menunjukkan bahwa kecepatan pembelajaran terlalu tinggi, dan pelatihan model tidak akan pernah mencapai konvergensi.