Regolarizzazione per semplicità: allenamento Playground (regolarizzazione L2)

Tempo stimato: 10 minuti

Esame della regolarizzazione di L₂

Questo esercizio contiene un set di dati di addestramento piccolo e rumoroso. In questo tipo di contesto, l'overfitting è una preoccupazione reale. Fortunatamente, la regolarizzazione potrebbe essere d'aiuto.

Questo esercizio consiste in tre attività correlate. Per semplificare i confronti tra le tre attività, esegui ogni attività in una scheda separata.

• Attività 1: esegui il modello come indicato per almeno 500 epoche. Tieni presente quanto segue:
  • Perdita di test.
  • Il delta tra perdita di test e perdita di addestramento.
  • I pesi appresi delle caratteristiche e della caratteristica incrociano. (Lo spessore relativo di ogni riga che va da FEATURES a OUTPUT rappresenta la ponderazione appresa per quella caratteristica o croce di caratteristiche. Puoi trovare i valori esatti della ponderazione passando il mouse sopra ogni riga.)
• Attività 2: (valuta l'opportunità di eseguire questa attività in una scheda separata) Aumenta il tasso di regolarizzazione da 0 a 0,3. Quindi, esegui il modello per almeno 500 epoche e trova le risposte alle seguenti domande:
  • Qual è la differenza tra la perdita di test nell'attività 2 e la perdita di test nell'attività 1?
  • Qual è la differenza tra il delta tra la perdita del test e la perdita di addestramento nell'attività 2 da quella dell'attività 1?
  • In che modo i pesi appresi per ciascuna caratteristica e ciascuna funzionalità differiscono dall'attività 2 all'attività 1?
  • Cosa dicono i risultati sulla complessità del modello?
• Attività 3: sperimenta con il tasso di regolarizzazione, cercando di trovare il valore ottimale.

Le risposte vengono visualizzate appena sotto l'allenamento.

---

---

Fai clic sull'icona Più per le risposte.

Aumentando il tasso di regolarizzazione da 0 a 0,3 si ottengono i seguenti effetti:

• La perdita di test diminuisce in modo significativo.

  Nota: mentre la perdita di test diminuisce, mentre quella di addestramento aumenta. Si tratta di un comportamento previsto, perché hai aggiunto un altro termine alla funzione di perdita per penalizzare la complessità. In ultima analisi, ciò che conta è la perdita di test, poiché questa è la vera misura della capacità del modello di fare previsioni valide sui nuovi dati.

• Il delta tra Perdita di test e Perdita di addestramento diminuisce in modo significativo.
• La ponderazione delle caratteristiche e di alcuni incroci di caratteristiche ha valori assoluti più bassi, il che significa che la complessità del modello cala.

Data la casualità del set di dati, è impossibile prevedere quale tasso di regolarizzazione ha prodotto i risultati migliori. Per noi, un tasso di regolarizzazione pari a 0,3 o 1 generalmente produceva la perdita di test più bassa.

Centro assistenza