Generalisierung bezieht sich auf die Fähigkeit Ihres Modells, sich an neue, bisher unbekannte Daten anzupassen, und zwar aus derselben Verteilung wie jene, die zum Erstellen des Modells verwendet wurde.
Generalisierung
Allgemeiner Überblick
- Ziel: Vorhersage neuer Daten, die aus der (verborgenen) echten Verteilung stammen
- Problem: Wir sehen die Wahrheit nicht.
- Wir nehmen nur eine Stichprobe daraus.
Allgemeiner Überblick
- Ziel: Vorhersage neuer Daten, die aus der (verborgenen) echten Verteilung stammen
- Problem: Wir sehen die Wahrheit nicht.
- Wir nehmen nur eine Stichprobe daraus.
- Wenn Modell h gut in unsere aktuelle Stichprobe passt, wie können wir dann davon ausgehen, dass es gut für andere neue Stichproben prognostiziert wird?
Woher wissen wir, ob unser Modell gut ist?
- Theoretisch:
- Interessanter Bereich: Generalisierungstheorie
- Basiert auf Ideen, wie einfach / komplex das Modell messen kann
- Intuition: formalisiertes Razor-Prinzip von Ockham
- Je weniger komplex ein Modell ist, desto wahrscheinlicher ist ein gutes empirisches Ergebnis nicht nur auf die Besonderheiten unserer Stichprobe zurückzuführen.
Woher wissen wir, ob unser Modell gut ist?
- Empirisch:
- Fragen Sie: Wird unser Modell bei einer neuen Stichprobe gut funktionieren?
- Bewerten: Eine neue Stichprobe der Daten abrufen – Test-Dataset
- Eine gute Leistung im Test-Dataset ist ein nützlicher Indikator für eine gute Leistung der neuen Daten im Allgemeinen:
- Wenn das Test-Dataset groß genug ist
- Wenn wir durch Verwendung des Test-Datasets immer wieder betrügen
ML-Kleingedrucktes
Drei grundlegende Annahmen in allen oben genannten Punkten:
- Wir ziehen Beispiele unabhängig und identisch (d.h.) nach dem Zufallsprinzip von der Verteilung ab.
- Die Verteilung ist stationär: sie ändert sich im Laufe der Zeit nicht.
- Wir nutzen immer die gleiche Verteilung, einschließlich Trainings-, Validierungs- und Test-Datasets.