ML modeli hata ayıklaması ürkütücü görünse de model metrikleri size nereden başlamanız gerektiğini gösterir. Aşağıdaki bölümlerde, metrikler kullanılarak performansın nasıl değerlendirileceği açıklanmaktadır.
Model Metriklerini Kullanarak Kaliteyi Değerlendirme
Modelinizin kalitesini değerlendirmek için yaygın olarak kullanılan metrikler şunlardır:
Bu metrikleri yorumlama konusunda rehberlik için Makine Öğrenimi Kilitlenme İçeriği'ndeki bağlantılı içeriği okuyun. Belirli sorunlarla ilgili ek yardım için aşağıdaki tabloya bakın.
| Sorun | Kalite Değerlendirme |
|---|---|
| Regresyon | Mutlak Ortalama Kare Hatası'nı (MSE) azaltmanın yanı sıra MSE'nizi etiket değerlerinize göre azaltın. Örneğin, ortalama fiyatı 5 ve 100 olan iki öğenin fiyatlarını tahmin ettiğinizi varsayalım. Her iki durumda da MSE'nizin 5 olduğunu varsayalım. İlk durumda MSE, ortalama fiyatınızın% 100'üdür ve bu, açıkça büyük bir hatadır. İkinci durumda MSE, ortalama fiyatınızın% 5'idir. Bu da makul bir hatadır. |
| Çok sınıflı sınıflandırma | Az sayıda sınıfı tahmin ediyorsanız sınıf başına metrikleri tek tek inceleyin. Birçok sınıfla ilgili tahminde bulunurken, genel sınıflandırma metriklerini izlemek için sınıf başına metriklerin ortalamasını alabilirsiniz. Alternatif olarak, ihtiyaçlarınıza göre belirli kalite hedeflerine öncelik verebilirsiniz. Örneğin, resimlerdeki nesneleri sınıflandırıyorsanız kullanıcıların diğer nesneler üzerinde sınıflandırıldığı kaliteye öncelik verebilirsiniz. |
Önemli Veri Dilimleri için Metrikleri Kontrol Etme
Yüksek kaliteli bir modeliniz olsa bile modeliniz, verilerinizin alt kümelerinde düşük performans gösterebilir. Örneğin, tek boynuzlu atınızın hem Sahra çölünde hem de New York'ta ve günün her saatinde iyi tahminler yapması gerekir. Ancak Sahra çölü için daha az eğitim veriniz vardır. Bu nedenle, özellikle Sahra çölünde model kalitesini izlemek istiyorsunuz. Bu tür veri alt kümelerine (ör. Sahra çölüne karşılık gelen alt küme) veri dilimleri denir. Performansın özellikle önemli olduğu veya modelinizin düşük performans gösterebileceği veri dilimlerini ayrı olarak izlemeniz gerekir.
Verileri anladığınız bilgileri kullanarak ilgilendiğiniz veri dilimlerini belirleyin. Daha sonra, veri dilimleri için model metriklerini tüm veri kümenizin metrikleriyle karşılaştırın. Modelinizin tüm veri dilimlerinde performans gösterip göstermediğini kontrol etmek, sapmayı ortadan kaldırmaya yardımcı olur. Daha fazla bilgi için Adalet: Ön Yargıyı Değerlendirme bölümüne bakın.
Gerçek Dünya Metrikleri
Model metrikleri, modelinizin gerçek dünyadaki etkisini ölçmeyebilir. Örneğin, bir hiperparametreyi değiştirebilir ve kullanıcı başına maliyetinizi artırabilirsiniz, ancak bu değişiklik kullanıcı deneyimini nasıl etkilemiştir? Gerçek dünya üzerindeki etkiyi ölçmek için ayrı metrikler tanımlamanız gerekir. Örneğin, bir tek boynuzlu atın görünümünü tahmin eden kullanıcılara bir tek boynuzlu at görüp görmediklerini kontrol etmek için anket yapabilirsiniz. Gerçek dünya üzerindeki etkiyi ölçmek, modelinizin farklı iterasyonlarının kalitesini karşılaştırmaya yardımcı olur.