Przyjrzyj się tej krzywej uogólnienia, która pokazuje stratę zarówno w przypadku zbioru treningowego, jak i zestawu do walidacji w porównaniu z liczbą iteracji trenowania.
Rysunek 1. Utrata zbioru treningowego i zbioru do walidacji.
Rysunek 1 przedstawia model, w którym utrata trenowania stopniowo się zmniejsza, ale w końcu utrata walidacji wzrasta. Innymi słowy, ta krzywa uogólnienia pokazuje, że model dopasowuje się do danych w zbiorze treningowym. Jeśli będziemy kierować się wewnętrznym Ockhamem, być może moglibyśmy zapobiec nadmiernemu dopasowaniu, nakładając kary na złożone modele, co jest nazywane regularizacją.
Innymi słowy, zamiast dążyć po prostu do zminimalizowania strat (empirycznej minimalizacji ryzyka):
minimalizujemy teraz złożoność straty i złożoności, co jest nazywane minimalizacją ryzyka strukturalnego:
Nasz algorytm optymalizacji trenowania jest teraz funkcją 2 terminów: okresu utraty, który określa, jak dobrze model pasuje do danych, i terminu regularyzacji, który mierzy złożoność modelu.
Kurs „Crash Course” dotyczący systemów uczących się skupia się na 2 częstych (i pewnie ze sobą powiązanych) sposobach myślenia o złożoności modelu:
- Złożoność modelu jako funkcja wag wszystkich cech w modelu.
- Złożoność modelu jako funkcja łącznej liczby cech o wadze innej niż zero. Podejście to omawiamy w późniejszym module.
Jeśli złożoność modelu jest funkcją wag, waga cechy z wysoką wartością bezwzględną jest bardziej złożona niż waga cechy o niskiej wartości bezwzględnej.
Złożoność można obliczyć ilościowo za pomocą formuły regularyzacji L2, która określa termin regularyzacji jako sumę kwadratów wszystkich wag cech:
W przypadku tej formuły wagi bliskie zera mają niewielki wpływ na złożoność modelu, a wagi odstające mogą mieć ogromny wpływ.
Przykładem może być model liniowy o tych wagach:
Ma termin regularyzacji L2 o wartości 26,915:
Jednak wartość \(w_3\) (pogrubiona powyżej) w przypadku podniesionej do kwadratu wartości 25 zwiększa złożoność. Suma kwadratów wszystkich 5 pozostałych wag powoduje dodanie 1,915 do hasła regularyzacji L2.