L2 Regularyzacja
Zapoznaj się z poniższymi opcjami.
Wyobraź sobie model liniowy ze 100 cechami wejściowych:
(10) zawierają bardzo dużo informacji.
90 z nich nie zawiera informacji.
Załóżmy, że wszystkie cechy mają wartości z zakresu od -1 do 1.
Które z poniższych stwierdzeń jest prawdziwe?
Regularyzacja L2 sprawi, że wiele wag nieinformacyjnych będzie mieć wartość prawie (ale nie dokładnie) 0,0.
Tak. Regularyzacja L2 zachęca, aby wagi były bliskie 0,0, ale nie dokładnie 0,0.
Regularyzacja L2 sprawi, że większość nieinformacyjnych wag będzie miała dokładnie 0,0.
Regularyzacja L2 nie wymusza wagi na poziomie dokładnie 0,0. Regularyzacja L2 nakłada karę na większą wagę niż mniejsze. Gdy waga zbliża się do 0,0, L2 „przesuwa się” z mniejszą siłą w kierunku 0,0.
Regularyzacja L2 może spowodować, że model nauczy się umiarkowanej wagi w przypadku niektórych funkcji nieinformacyjnych.
Co zaskakujące, może się tak zdarzyć, gdy z etykietą zostanie skorelowana funkcja, która nie zawiera informacji. W tym przypadku model nieprawidłowo przypisuje takim cechom nieinformacyjnym część „zasług”, które należy przypisać funkcjom informacyjnym.
L2 Regularyzacja i powiązane funkcje
Zapoznaj się z poniższymi opcjami.
Wyobraź sobie model liniowy z 2 silnie skorelowanymi cechami. Oznacza to, że te 2 cechy są prawie identyczne, ale jedna z nich zawiera niewielką ilość losowego szumu. Co się stanie z wagami tych 2 cech, jeśli wytrenujemy ten model przy użyciu regularyzacji L2?
Obie funkcje będą miały podobną, umiarkowaną wagę.
Regularyzacja L2 spowoduje, że cechy będą miały w przybliżeniu równoważne wagi, które są w przybliżeniu połowę wartości tych cech, które miałyby tylko jedną z 2 cech dostępnych w modelu.
Jedna z funkcji będzie miała dużą wagę, a druga prawie 0,0.
Regularyzacja L2 powoduje większą karę za duże wagi niż te małe. Dlatego nawet jeśli jedna waga zacznie spadać szybciej niż druga, regularyzacja L2 będzie zazwyczaj wymuszać szybszy spadek wagi większej niż mniejsza.
Jedna cecha będzie mieć dużą wagę, a druga – dokładnie 0,0.
Regularyzacja L2 rzadko wymusza wagi na poziomie dokładnie 0,0. Z kolei regularyzacja L1 (omówiona później) wymusza wagę dokładnie 0, 0.