Analisi della regolarizzazione L₂

Questo esercizio contiene un set di dati di addestramento piccolo e rumoroso. In questo tipo di situazione, l'overfitting è una vera preoccupazione. Per fortuna la regolarizzazione potrebbe essere utile.

Questo esercizio consiste in tre attività correlate. Per semplificare i confronti tra le tre attività, eseguile in una scheda separata.

• Attività 1: esegui il modello come previsto per almeno 500 epoche. Nota le seguenti:
  • Testa la perdita.
  • Il delta tra perdita di test e perdita di addestramento.
  • I pesi appresi delle caratteristiche e gli incroci di caratteristiche. (lo spessore relativo di ogni linea che va da FEATURES a OUTPUT) rappresenta la ponderazione appresa per quella caratteristica o incrocio di caratteristiche. Puoi trovare i valori esatti del peso passando il mouse sopra ogni riga.)
• Attività 2: (valuta la possibilità di eseguire questa attività in una scheda separata) Aumenta il tasso di regolarizzazione da 0 a 0,3. Poi esegui modello per almeno 500 epoche e trovare le risposte alle seguenti domande:
  • Qual è la differenza tra la perdita di test nell'Attività 2 e la perdita di test nell'attività 1?
  • Qual è il delta tra perdita di test e perdita di addestramento nell'attività 2? differisce da quella dell'attività 1?
  • In che modo differiscono i pesi appresi di ogni incrocio di caratteristiche e caratteristiche dall'attività 2 all'attività 1?
  • Cosa dicono i tuoi risultati sulla complessità del modello?
• Attività 3: sperimenta la velocità di regolarizzazione, cercando di trovare valore ottimale.

Le risposte vengono visualizzate immediatamente sotto l'esercizio.

---

---

Fai clic sull'icona Più per le risposte.

Aumentando la velocità di regolarizzazione da 0 a 0,3 si ottiene il seguente risultato: effetti:

• La perdita di dati nel test cala in modo significativo.

  Nota: mentre la perdita di test diminuisce, la perdita di addestramento in realtà aumenta. Si tratta di un comportamento previsto, perché ne hai aggiunto un altro alla funzione di perdita per penalizzare la complessità. Essenzialmente, è la perdita di test, in quanto questa è la vera misura della capacità del modello di fare buone previsioni sulla base di nuovi dati.

• Il delta tra la perdita di test e quella di addestramento cala in modo significativo.
• I pesi delle caratteristiche e alcuni degli incroci di caratteristiche hanno valori valori assoluti, il che implica un calo della complessità del modello.

Data la casualità nel set di dati, è impossibile prevedere quale tasso di regolarizzazione ha prodotto i migliori risultati per te. Per noi, un tasso di regolarizzazione di 0,3 o 1 generalmente la perdita di test più bassa.