Attraversamento eccessivo?

Prima di guardare il video o leggere la documentazione, completa la questo esercizio che esplora l'uso eccessivo di incroci di caratteristiche.

Attività 1: esegui il modello così com'è, con tutti i dati le funzionalità di machine learning. Ci sono sorprese nel modo in cui il modello si adatta ai dati? Qual è il problema?

Attività 2: prova a rimuovere varie funzionalità tra prodotti per migliorare rendimento (anche se leggermente). Perché la rimozione di funzionalità migliorare le prestazioni?

Le risposte vengono visualizzate immediatamente sotto l'esercizio.

---

---

Fai clic sull'icona Più in corrispondenza di una risposta all'attività 1.

Sorprendentemente, il confine decisionale del modello sembra un po' strano. In particolare, c'è una regione in alto a sinistra che tende al blu, anche se non esiste un supporto visibile a riguardo nei dati.

Nota lo spessore relativo delle cinque linee che vanno da INPUT a OUTPUT. Queste linee indicano i pesi relativi delle prime cinque caratteristiche. Le linee che partono da X₁ e X₂ sono molto più spesse quelle provenienti dagli incroci di caratteristiche. Quindi, gli incroci di caratteristiche contribuiscono molto meno al modello rispetto alle caratteristiche normali (non incrociate).

Fai clic sull'icona Più in corrispondenza di una risposta all'attività 2.

La rimozione di tutti gli incroci di caratteristiche dà un modello più ragionevole (c'è non è più un confine curvo che suggerisce un overfitting) e fa convergere la perdita di test.

Dopo 1000 iterazioni, la perdita del test dovrebbe essere leggermente inferiore rispetto a quando erano in funzione gli incroci di caratteristiche (sebbene i risultati può variare leggermente, a seconda del set di dati).

I dati di questo esercizio sono fondamentalmente lineari, con una certa quantità di rumore. Se utilizziamo un modello troppo complicato, ad esempio uno con troppi incrociati, gli offriamo l'opportunità di adattarsi al rumore dei dati di addestramento, spesso ciò comporta un peggioramento delle prestazioni del modello sui dati di test.