Anstatt genau 0 oder 1 vorherzusagen, generiert die logistische Regression eine Wahrscheinlichkeit – einen Wert zwischen 0 und 1, ausschließlich. Nehmen wir als Beispiel ein logistisches Regressionsmodell zur Spamerkennung. Wenn das Modell den Wert 0,932 für eine bestimmte E-Mail-Nachricht ableitet, impliziert dies eine Wahrscheinlichkeit von 93,2 %, dass es sich bei der E-Mail-Nachricht um Spam handelt. Genauer gesagt bedeutet das, dass im Rahmen der unendlichen Trainingsbeispiele die Gruppe von Beispielen, für die das Modell 0,932 vorhersagt, in 93,2% der Fälle tatsächlich Spam sein wird. Die restlichen 6,8% werden nicht.
Logistische Regression
Münzen werfen?
- Stellen Sie sich das Problem der Vorhersage der Wahrscheinlichkeit von Köpfen für verbogene Münzen vor
- Dazu gehören beispielsweise Kurvenwinkel und Münzen.
- Welches ist das einfachste Modell, das Sie verwenden können?
- Was könnte da schon schiefgehen?
Logistische Regression
- Viele Probleme erfordern eine Wahrscheinlichkeitsschätzung als Ausgabe
- Geben Sie Logistische Regression ein.
Logistische Regression
- Viele Probleme erfordern eine Wahrscheinlichkeitsschätzung als Ausgabe
- Geben Sie Logistische Regression ein.
- Praktisch, weil die Wahrscheinlichkeitsschätzungen kalibriert sind
- Beispiel: p(Hausverkauf) * Preis = erwartetes Ergebnis
Logistische Regression
- Viele Probleme erfordern eine Wahrscheinlichkeitsschätzung als Ausgabe
- Geben Sie Logistische Regression ein.
- Praktisch, weil die Wahrscheinlichkeitsschätzungen kalibriert sind
- Beispiel: p(Hausverkauf) * Preis = erwartetes Ergebnis
- Auch nützlich, wenn eine binäre Klassifizierung erforderlich ist.
- Spam? → p(Spam)
Logistische Regression – Vorhersagen
$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$
\(\text{Where:} \) \(x\text{: Provides the familiar linear model}\) \(1+e^{-(...)}\text{: Squish through a sigmoid}\)
Definition von LogLoss
$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$
Logistische Regression und Normalisierung
- Normalisierung ist sehr wichtig für die logistische Regression.
- Erinnere dich an die Asymptoten
- Es wird weiterhin versucht, den Verlust bei hohen Abmessungen auf 0 zu erhöhen.
Logistische Regression und Normalisierung
- Normalisierung ist sehr wichtig für die logistische Regression.
- Erinnere dich an die Asymptoten
- Es wird weiterhin versucht, den Verlust bei hohen Abmessungen auf 0 zu erhöhen.
- Zwei Strategien sind besonders nützlich:
- L2-Normalisierung (auch L2-Gewichtsabnahme genannt) – bestraft enorme Gewichte.
- Frühzeitiges Beenden: Begrenzung der Trainingsschritte oder der Lernrate.
Lineare logistische Regression
- Lineare logistische Regressionen sind äußerst effizient.
- Sehr schnelle Trainings- und Vorhersagezeiten.
- Kurze / breite Modelle erfordern viel RAM.