Kayıpları Azaltma: Öğrenme Oranını Optimize Etme

Tahmini Süre: 15 dakika

1. Egzersiz

Kaydırma çubuğunda 0,03 öğrenme hızını ayarlayın. Renk geçişi iniş algoritması kayıp eğrisinin minimum noktasına ulaşana kadar ADIM düğmesine basmaya devam edin. Kaç adım attınız?

Çözüm

Kademeli iniş, 40 adımda eğrinin minimum değerine ulaşır.

2. Egzersiz

Daha yüksek bir öğrenme oranıyla en düşük seviyeye daha hızlı ulaşabilir misiniz? Öğrenme hızını 0, 1 olarak ayarlayın ve gradyan inişi minimuma ulaşana kadar ADIM'a basmaya devam edin. Bu işlem kaç saat sürdü?

Çözüm

Kademeli iniş, 11 adımda eğrinin minimum değerine ulaşır.

3. Egzersiz

Daha da yüksek bir öğrenim oranı. Grafiği sıfırlayın, 1 öğrenme hızı ayarlayın ve kayıp eğrisinin minimum değerine ulaşmaya çalışın. Bu sefer ne oldu?

Çözüm

Kademeli iniş hiçbir zaman minimum değere ulaşmaz. Sonuç olarak, adımların boyutu kademeli olarak artar. Her adım, kase boyunca aşağı ve yukarı atlayarak alta inmek yerine eğriyi yukarı taşır.

İsteğe Bağlı Yarışma

Bu eğrinin Goldilocks öğrenme oranını, gradyan inişinin en az sayıda adımla minimum noktaya ulaştığı bir değer bulabilir misiniz? Minimum değere ulaşmak için gereken en az adım sayısı aşağıdakilerden hangisidir?

Çözüm

Bu veriler için Goldilocks öğrenme oranı 0,2 ile 0,3 arasında bir değerdir. Bu da üç veya dört adımda minimum seviyeye ulaşır.

NOT: Pratikte, başarılı bir model eğitimi için "kusursuz" (veya neredeyse mükemmel) bir öğrenme oranı bulmak zorunlu değildir. Burada amaç, gradyan inişinin birleşeceği kadar büyük bir öğrenme oranı bulmaktır, ancak bunu hiçbir zaman birleştiremeyecek kadar büyük olmamalıdır.

Yardım Merkezi