Invece di prevedere esattamente 0 o 1, regressione logica genera una probabilità, un valore tra 0 e 1, esclusivi. Ad esempio, considera un modello di regressione logistica per il rilevamento di spam. Se il modello deduce un valore pari a 0,932 da un determinato messaggio email, implica una probabilità del 93,2% che il messaggio email sia spam. Più precisamente, significa che, nel limite di esempi di addestramento infiniti, l'insieme di esempi per i quali il modello prevede 0,932 in realtà sarà spam nel 93,2% dei casi, mentre il restante 6,8% no.
Regressione logistica
Dovresti prevedere il lancio di monete?
- Immagina il problema di prevedere la probabilità delle teste per le monete piegate
- Puoi utilizzare funzioni quali angolo di piegatura, massa di monete e così via.
- Qual è il modello più semplice che puoi utilizzare?
- Cosa potrebbe andare storto?
Regressione logistica
- Molti problemi richiedono una stima della probabilità come output
- Inserisci Regressione logistica
Regressione logistica
- Molti problemi richiedono una stima della probabilità come output
- Inserisci Regressione logistica
- A portata di mano perché le stime di probabilità sono calibrate
- ad esempio, p(casa venderà) * prezzo = risultato atteso
Regressione logistica
- Molti problemi richiedono una stima della probabilità come output
- Inserisci Regressione logistica
- A portata di mano perché le stime di probabilità sono calibrate
- ad esempio, p(casa venderà) * prezzo = risultato atteso
- Utile anche quando ci serve una classificazione binaria
- spam o non spam? → p(Spam)
Regressione logistica: previsioni
$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$
\(\text{Where:} \) \(x\text{: Provides the familiar linear model}\) \(1+e^{-(...)}\text{: Squish through a sigmoid}\)
Definizione logloss
$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$
Regressione e regolarizzazione logistica
- La regolarizzazione è importantissima per la regressione logistica.
- Ricorda gli asintoti
- Continuerà a cercare di ridurre le dimensioni fino a 0
Regressione e regolarizzazione logistica
- La regolarizzazione è importantissima per la regressione logistica.
- Ricorda gli asintoti
- Continuerà a cercare di ridurre le dimensioni fino a 0
- Due strategie sono particolarmente utili:
- L2 normalizzazione (nota anche come L2 decadimento peso) - Penalizza pesi enormi.
- Inizio: limita i passaggi per l'addestramento o la velocità di apprendimento.
Regressione logistica lineare
- La regressione logistica lineare è estremamente efficiente.
- Tempi di addestramento e previsione molto rapidi.
- I modelli brevi / wide utilizzano molta RAM.