Validierungs-Dataset

Durch das Partitionieren eines Datasets in ein Trainings- und ein Test-Dataset können Sie beurteilen, ob sich ein bestimmtes Modell gut für neue Daten verallgemeinern lässt. Die Verwendung von nur zwei Partitionen kann jedoch bei vielen Runden der Hyperparameter-Abstimmung unzureichend sein.

Validierung

Ein Workflow-Diagramm, das aus drei Phasen besteht. 1. Modell mit Trainings-Dataset trainieren. 2. Modell anhand des Test-Datasets bewerten. 3. Das Modell wird gemäß den Ergebnissen des Test-Datasets optimiert. Iterieren Sie auf 1, 2 und 3 und wählen Sie schließlich das Modell aus, das im Test-Dataset die beste Leistung erzielt.
Ein horizontaler Balken, der in drei Teile unterteilt ist: 70% davon sind das Trainings-Dataset, 15% das Validierungs-Dataset und 15% das Test-Dataset
Ähnlicher Workflow wie in Abbildung 1, mit der Ausnahme, dass das Modell nicht anhand des Test-Datasets, sondern anhand des Validierungs-Datasets bewertet wird. Sobald das Trainings-Dataset und das Validierungs-Dataset mehr oder weniger übereinstimmen, vergleichen Sie das Modell mit dem Test-Dataset.