Le linee guida per i test della pipeline non possono essere dimostrate in un Colab. I seguenti esercizi, invece, ti aiuteranno a esercitarti nelle linee guida. Nella pagina successiva sono descritte le risorse per l'implementazione delle linee guida.
Per le seguenti domande, fai clic sulla selezione per espanderla e controlla la risposta.
Dopo aver lanciato il predittore dell'aspetto di unicorno, devi mantenerlo aggiornato eseguendo di nuovo la migrazione su nuovi dati. Poiché stai raccogliendo troppi nuovi dati per l'addestramento, decidi di limitare i dati di addestramento campionando i nuovi dati in un periodo di tempo. Devi inoltre tenere conto dei modelli giornalieri e annuali per l'aspetto da unicorno. Il più rapido per lanciare nuove versioni del modello è ogni tre mesi.
Quale periodo di tempo scegli?
Un giorno, perché una finestra più grande comporta una quantità di dati elevata e l'addestramento del modello richiede troppo tempo.
risposta errata. Puoi regolare la frequenza di campionamento dei dati per limitare la dimensione del set di dati. Poiché puoi aggiornare il modello solo ogni tre mesi, un modello addestrato in base ai dati di un giorno diventerà gradualmente inattivo.
Una settimana, in modo che il set di dati non sia troppo grande, ma puoi comunque perfezionare i pattern.
risposta errata. Puoi regolare la frequenza di campionamento dei dati per limitare la dimensione del set di dati. Poiché puoi aggiornare il modello solo ogni tre mesi, un modello addestrato in base ai dati di una settimana diventerà gradualmente inattivo.
Un anno, per assicurare che il tuo modello non sia influenzato da pattern giornalieri o annuali.
risposta esatta. Devi scegliere un set di dati rappresentativo in modo che il modello impari a prevedere in tutti gli scenari.
Lanci il tuo predittore di aspetto unicorno. Funziona bene Si va in vacanza e si torna dopo tre settimane per rilevare una riduzione significativa della qualità del modello. Supponiamo che sia improbabile che il comportamento degli unicorni cambi in modo significativo entro tre settimane. Qual è la spiegazione più probabile della diminuzione della qualità?
Disallineamento addestramento/produzione.
risposta esatta. Il comportamento dell'unicorno probabilmente non è cambiato, ma i report sui dati sottostanti o la formattazione dei dati sono cambiati nei dati di pubblicazione dopo la raccolta dei dati di addestramento.
Rileva un potenziale disallineamento addestramento/produzione confrontando i dati di pubblicazione con lo schema dei dati di addestramento.
Hai dimenticato di testare la qualità del modello con una soglia fissa.
risposta errata. Testare la qualità di un modello sarebbe utile per determinare una diminuzione della qualità, ma non spiegherebbe perché si è verificata.
Il modello non è aggiornato.
Errato, supponendo che i dati di addestramento coprano tutti i cicli di comportamento di unicorno, come discusso nella domanda precedente.
Decidi saggiamente di monitorare le previsioni per l'Antartide perché
non hai dati di addestramento sufficienti in questo paese. La qualità della previsione scende misteriosamente per alcuni giorni alla volta, soprattutto in inverno. Quale potrebbe essere la causa?
Un fattore ambientale.
risposta esatta. Scopri che le tempeste in Antartide sono correlate a una diminuzione della qualità della previsione. Durante queste tempeste, il comportamento dell'unicorno cambia. Inoltre, la raccolta di dati durante le tempeste in Antartide è impossibile, il che significa che il tuo modello non può essere addestrato per queste condizioni.
Il modello diventa inattivo.
risposta errata. Se questa causa era corretta, la qualità diminuirà continuamente man mano che il modello diventerà inattivo, invece che solo per alcuni giorni.
Nessuna causa necessaria. I modelli di machine learning hanno una casualità intrinseca.
risposta errata. Se la qualità del tuo modello cambia, dovresti
indagare sulla causa. Prova ad eliminare la casualità nell'addestramento del modello per aumentare la riproducibilità.
Il tuo predittore dell'aspetto da unicorno opera da un anno. Hai risolto molti problemi e ora la qualità è elevata. Si tratta però di un problema
piccolo ma persistente. La qualità del modello è leggermente ridotta nelle aree urbane. Quale potrebbe essere la causa?
L'alta qualità delle previsioni porta gli utenti a trovare facilmente unicorni, con ripercussioni sul loro comportamento nell'aspetto degli unicorni.
risposta esatta. Gli unicorni hanno risposto a una maggiore attenzione cambiando il loro comportamento nelle aree urbane. Man mano che le previsioni del modello si adattano al comportamento in evoluzione, gli unicorni continuano a modificare il proprio comportamento. Una situazione di questo tipo, in cui il comportamento del modello influisce sui dati di addestramento, viene definito loop di feedback.
Dovresti provare a modificare il rilevamento del disallineamento addestramento/produzione per
rilevare le modifiche ai dati di pubblicazione che corrispondono alle modifiche nel comportamento dell'unicorno.
Le immagini di unicorni vengono segnalate più volte in
aree molto popolate, inclinando i dati di addestramento.
risposta errata. Probabilmente questo non è il motivo, perché questo disallineamento dovrebbe
aver ridotto la qualità dal lancio.
Le aree urbane sono difficili da modellare.
risposta errata. Se il modello aveva difficoltà a prevedere nelle aree urbane, la qualità sarebbe bassa dall'inizio, invece di essere inferiore dopo il lancio.