Il debug di un modello ML può sembrare scoraggiante, ma le metriche del modello mostrano da dove iniziare. Le seguenti sezioni descrivono come valutare il rendimento utilizzando le metriche.
Valuta la qualità utilizzando le metriche del modello
Per valutare la qualità del modello, le metriche di uso comune sono:
Per indicazioni su come interpretare queste metriche, leggi i contenuti collegati da Machine Learning Crash Content. Per ulteriori indicazioni su problemi specifici, consulta la seguente tabella.
| Problema | Valutazione della qualità |
|---|---|
| Regressione | Oltre a ridurre l'errore quadrato medio (MSE) assoluto, riduci l'errore MSE relativo ai valori delle etichette. Ad esempio, supponi di prevedere i prezzi di due elementi che hanno prezzi medi pari a 5 e 100. In entrambi i casi, supponiamo che l'MSE sia 5. Nel primo caso, l'MSE è il 100% del tuo prezzo medio, il che è chiaramente un errore importante. Nel secondo caso, l'MSE è il 5% del tuo prezzo medio, il che è un errore ragionevole. |
| Classificazione multiclasse | Se prevedi un numero limitato di corsi, guarda le metriche per classe singolarmente. Quando fai previsioni per molte classi, puoi calcolare la media delle metriche per classe per tenere traccia delle metriche di classificazione complessive. In alternativa, puoi dare priorità a obiettivi di qualità specifici, a seconda delle tue esigenze. Ad esempio, se classificate oggetti in immagini, puoi dare la priorità alla qualità della classificazione per le persone rispetto ad altri oggetti. |
Verifica metriche per sezioni dati importanti
Dopo aver ottenuto un modello di alta qualità, il tuo modello potrebbe comunque avere prestazioni scarse nei sottoinsiemi di dati. Ad esempio, il predittore di unicorni deve prediligere bene sia nel deserto del Sahara che a New York e a tutte le ore del giorno. Tuttavia, i dati di addestramento per il deserto del Sahara sono inferiori. Quindi, devi monitorare la qualità del modello in particolare per il deserto del Sahara. Questi sottoinsiemi di dati, come il sottoinsieme corrispondente al deserto del Sahara, sono chiamati sezioni di dati. Devi monitorare separatamente le sezioni di dati laddove le prestazioni sono particolarmente importanti o il modello potrebbe avere un rendimento scarso.
Utilizza la tua conoscenza dei dati per identificare le sezioni di dati di tuo interesse. Poi confronta le metriche del modello per sezioni di dati con le metriche per l'intero set di dati. Il controllo delle prestazioni del modello in tutte le sezioni di dati consente di rimuovere i bias. Per ulteriori informazioni, consulta Fairness: Evaluing for Bias.
Utilizza metriche reali
Le metriche del modello non misurano necessariamente l'impatto reale del modello. Ad esempio, potresti cambiare un iperparametro e aumentare l'AUC, ma in che modo la modifica ha influito sull'esperienza utente? Per misurare l'impatto nel mondo reale, devi definire metriche distinte. Ad esempio, puoi inviare un sondaggio agli utenti che visualizzano la previsione di un unicorno per verificare se hanno visualizzato o meno un unicorno. Misurare l'impatto nel mondo reale consente di confrontare la qualità di diverse iterazioni del tuo modello.