Funkcja utraty dla regresji logistycznej
Funkcja straty dla regresji liniowej to kwadrat. Funkcja utraty dla regresji logistycznej to Utrata logów, która jest zdefiniowana w ten sposób:
gdzie:
- \((x,y)\in D\) to zbiór danych zawierający wiele oznakowanych przykładów, które są parami. \((x,y)\)
- \(y\) to etykieta w przykładowym przykładzie. Ponieważ jest to regresja logistyczna, każda wartość \(y\) musi wynosić 0 lub 1.
- \(y'\) to przewidywana wartość (z zakresu od 0 do 1) z uwzględnieniem zestawu funkcji w polu \(x\).
Regularizacja regresji logistycznej
Regularizacja jest niezwykle ważna w modelowaniu regresji logistycznej. Bez normalności regresja logistyczna nie pozwoli na utratę wartości na poziomie 0. Dlatego większość modeli regresji logistycznych używa jednej z tych dwóch strategii, aby zmniejszyć złożoność modelu:
- Regularizacja L2
- Wczesne ograniczenie, czyli ograniczanie liczby kroków treningowych lub współczynnika.
(Trzecią strategię – L11 – omówimy w późniejszym module).
Wyobraź sobie, że do każdego przykładu przypisujesz unikalny identyfikator, i mapuj każdy identyfikator na jego własną funkcję. Jeśli nie określisz funkcji regularizacji, model całkowicie ulegnie zmianie. Wynika to z faktu, że model dążyłby do zerowego straty we wszystkich przykładach i nigdy nie mógł dojść do celu. Waga każdej funkcji wskaźnika wynosiła +nieskończoność lub -nieskończoność. Może się to zdarzyć w danych o wysokim wymiarze, obejmujących krzyżyki cech, gdy występują ogromne ilości rzadkich rzadkich krzyżyków, które mają miejsce tylko w jednym przypadku.
Na szczęście użycie L2 lub wcześniejszego zatrzymania spowoduje ten problem.