Verifica le tue conoscenze: debug del modello

Per le seguenti domande, fai clic sulla selezione per espanderla e controlla la risposta.

Approccio alla definizione del modello

Tu e la tua amica Mel come gli unicorni. Anzi, gli unicorni ti piacciono molto, decidi di prevedere l'aspetto degli unicorni usando il machine learning. Hai un set di dati di 10.000 unicorni. Per ogni aspetto, il set di dati contiene posizione, ora del giorno, altitudine, temperatura, umidità, densità di popolazione, copertura arborea, presenza di un arcobaleno e molte altre funzionalità.

Vuoi iniziare a sviluppare il tuo modello di machine learning. Quale dei seguenti approcci è un buon modo per iniziare a sviluppare?
Gli unicorni appaiono spesso all'alba e al tramonto. Pertanto, utilizza la funzione "ora del giorno" per creare un modello lineare.
risposta esatta. Un modello lineare che utilizza una o due funzionalità altamente predittive è un modo efficace per iniziare.
La previsione dell'aspetto di unicorno è un problema molto difficile. Pertanto, utilizza una rete neurale profonda con tutte le funzionalità disponibili.
risposta errata. Iniziare con un modello complesso complica il debug.
Inizia con un semplice modello lineare, ma utilizza tutte le funzionalità per garantire che il modello semplice abbia una potenza predittiva.
risposta errata. Se utilizzi molte funzionalità, anche con un modello lineare, il modello risultante è complesso e difficile da sottoporre a debug.

Basi

Utilizzando la regressione con la perdita di errori di piazza (MSE), prevedi il costo di una corsa in taxi utilizzando durata, distanza, origine e fine del viaggio. Sai:

  • Il costo medio della corsa è di 15 €.
  • Il costo del viaggio aumenta di un importo fisso per chilometro.
  • Le corse in centro sono a pagamento.
  • Le corse partono da un costo minimo di 3 $.

Determina se i seguenti valori di riferimento sono utili.

Questa è una base di riferimento utile: ogni corsa costa 15 €.
risposta esatta. Il costo medio è un valore di riferimento utile.
No
risposta errata. Prevedendo sempre la media si ottiene un MSE più basso che una previsione di qualsiasi altro valore. Pertanto, il test di un modello rispetto a questo riferimento fornisce un confronto significativo.
Dipende dalla deviazione standard del costo della corsa.
risposta errata. Indipendentemente dalla deviazione standard, il costo medio della corsa è un valore di riferimento utile perché prevede sempre i valori medi che portano a un MSE inferiore rispetto alla previsione di qualsiasi altro valore.
È un riferimento utile: un modello addestrato che utilizza solo durata e origine come funzionalità.
risposta errata. Dovresti utilizzare un modello addestrato come base di riferimento solo dopo che è stato completamente convalidato in produzione. Inoltre, il modello addestrato deve essere convalidato a fronte di una base di riferimento più semplice.
No
risposta esatta. Dovresti utilizzare un modello addestrato come base di riferimento solo dopo che è stato completamente convalidato in produzione.
È una linea di base utile: il costo di una corsa corrisponde alla distanza in chilometri (tra chilometri) moltiplicata per la tariffa al chilometro.
risposta esatta. La distanza è il fattore più importante per determinare il costo della corsa. Pertanto, è utile un riferimento che si basa sulla distanza.
No
risposta errata. La distanza è il fattore più importante per determinare il costo delle corse. Pertanto, è utile un riferimento che si basa sulla distanza.
Questa è una base di riferimento utile: ogni corsa costa 1 €. Perché il modello deve sempre superare questo valore di riferimento. Se il modello non supera questo valore di riferimento, possiamo essere sicuri che ha un bug.
risposta errata. Questo non è un punto di riferimento utile perché è sempre sbagliato. Il confronto di un modello con un riferimento sempre errato non è significativo.
No
risposta esatta. Questa base di riferimento non è un test utile del modello.

Iperparametri

Le seguenti domande descrivono i problemi relativi alla formazione di una categoria di classificazione. Scegli le azioni che potrebbero risolvere il problema descritto.

La perdita di addestramento è 0,24 e la perdita di convalida è 0,36. Quali delle seguenti azioni potrebbero ridurre la differenza tra la perdita di dati della formazione e la convalida?
Assicurati che i set di addestramento e convalida abbiano le stesse proprietà statistiche.
risposta esatta. Se i set di addestramento e convalida hanno proprietà statistiche diverse, i dati di addestramento non aiuteranno a prevedere i dati di convalida.
Usa la regolarizzazione per evitare l'overfitting.
risposta esatta. Se la perdita di addestramento è minore della perdita di convalida, è probabile che il modello sia in eccesso rispetto ai dati di addestramento. La regolazione impedisce l'overfitting.
Aumenta il numero di periodi di addestramento.
risposta errata. Se la perdita di addestramento è minore della perdita di convalida, in genere il modello sta superando i dati di addestramento. L'aumento dei periodi di addestramento aumenterà solo l'overfitting.
Riduci il tasso di apprendimento.
risposta errata. Una perdita di convalida superiore alla perdita di addestramento indica in genere un adattamento in eccesso. Modificare il tasso di apprendimento non riduce il Fitfit.
Esegui le azioni corrette descritte nella domanda precedente e ora le perdite di addestramento e convalida diminuiscono da 1,0 a circa 0,24 dopo l'addestramento per molti periodi. Quale delle seguenti azioni potrebbe ridurre ulteriormente la perdita di addestramento?
Aumentare la profondità e la larghezza della rete neurale.
risposta esatta. Se la perdita di addestramento rimane costante a 0,24 dopo l'addestramento per molti periodi, il tuo modello potrebbe non avere la capacità predittiva di ridurre ulteriormente la perdita. L'aumento della profondità e della larghezza del modello potrebbe conferire al modello l'ulteriore capacità predittiva necessaria per ridurre ulteriormente la perdita di addestramento.
Aumenta il numero di periodi di addestramento.
risposta errata. Se la perdita di addestramento rimane a 0,24 dopo l'addestramento per molti periodi, l'operazione di addestramento del modello probabilmente non comporterà una notevole riduzione della perdita di addestramento.
Aumento del tasso di apprendimento.
risposta errata. Dato che la perdita di addestramento non è diminuita per molti periodi di addestramento, l'aumento del tasso di apprendimento probabilmente non ridurrà la perdita di addestramento finale. Invece, l'aumento della percentuale di apprendimento potrebbe rendere instabile l'addestramento e impedire al modello di apprendere i dati.
Hai intrapreso l'azione corretta nella domanda precedente. La perdita di addestramento del modello è diminuita a 0,20. Supponiamo che tu debba ridurre leggermente di più la perdita di addestramento del modello. Aggiungi alcune funzionalità che sembrano avere un potere predittivo. Tuttavia, la perdita di addestramento continua a fluttuare intorno alle 0,20. Quali delle tre opzioni seguenti potrebbero ridurre la perdita di addestramento?
Aumenta la profondità e la larghezza dei livelli.
risposta esatta. Il tuo modello potrebbe non avere la capacità di apprendere gli indicatori predittivi nelle nuove funzionalità.
Aumentare il periodo di addestramento.
risposta errata. Se la perdita di addestramento del modello oscilla intorno a 0,20, l'aumento del numero di periodi di addestramento probabilmente causerà la perdita di addestramento del modello e continuerà a fluttuare intorno a 0,20.
Le funzionalità non aggiungono informazioni rispetto alle funzionalità esistenti. Prova con un'altra funzionalità.
risposta esatta. È possibile che gli indicatori predittivi codificati dalle funzionalità esistano già nelle funzionalità che stai utilizzando.
Riduci il tasso di apprendimento.
risposta esatta. È possibile che l'aggiunta delle nuove funzionalità abbia reso il problema più complesso. In particolare, la fluttuazione della perdita indica che il tasso di apprendimento è troppo elevato e che il modello sta abbandonando il minimo. La riduzione del tasso di apprendimento consentirà al tuo modello di apprendere i valori minimi.