Zapoznaj się z tymi opcjami.
Wyobraź sobie model liniowy z dwoma silnie skorelowanymi obiektami; czyli
te dwie funkcje są niemal identycznymi kopiami, ale jedna
zawiera niewielką ilość losowego szumu. Jeśli będziemy trenować
z regularyzacją L2, co stanie się z wagami
dla tych 2 funkcji?
Obie funkcje będą miały podobną umiarkowaną wagę.
Regularyzacja L2 wymusza na funkcjach
mniej więcej równoważny wago, który wynosi około połowy
gdyby mieli oni tylko jedną z dwóch funkcji,
w modelu.
Jeden obiekt może mieć dużą wagę. drugi będzie mieć
waga prawie 0,0.
Regularyzacja L2 powoduje większe kary za duże ciężary
niż małe ciężary. Nawet jeśli jedna waga zaczęła spadać,
niż drugi, regularyzacja L2
zmusza do szybszego spadku wagi niż
że waga jest mniejsza.
Jeden obiekt może mieć dużą wagę. drugi będzie mieć
waga dokładnie 0,0.
Regularyzacja L2 rzadko wymusza wymuszanie
waży dokładnie 0,0. Z kolei regularyzacja L1
(omówiono później) wymusza wagi do dokładnie 0,0.