Sehen Sie sich die folgenden Optionen an.
Wir haben einen Prozess mit einem Test-Dataset und einem Trainings-Dataset betrachtet, um Iterationen der Modellentwicklung zu fördern. In jeder Iteration trainieren wir die Trainingsdaten und bewerten sie anhand der Testdaten. Anhand der Auswertungsergebnisse für Testdaten werden Entscheidungen und Änderungen an verschiedenen Modell-Hyperparametern wie Lernrate und Funktionen getroffen. Gibt es etwas Falsches an diesem Ansatz? (Wählen Sie nur eine Antwort aus.)
Das ist völlig in Ordnung, wir trainieren die Trainingsdaten und evaluieren sie anhand separater, eingehaltener Testdaten.
Es gibt hier ein subtiles Problem. Überlegen Sie, was passieren könnte, wenn wir viele verschiedene Iterationen dieses Formulars durchgeführt hätten.
Das Durchführen vieler Runden dieses Verfahrens kann dazu führen, dass wir implizit an die Besonderheiten unseres speziellen Test-Datasets passen.
Ja. Je häufiger wir bei einem bestimmten Test-Dataset auswerten, desto höher ist das Risiko einer impliziten Überanpassung des einen Test-Datasets.
Als Nächstes sehen wir uns ein besseres Protokoll an.
Dies ist rechenineffizient. Wir sollten nur einen Standardsatz von Hyperparametern auswählen und live damit laufen, um Ressourcen zu sparen.
Obwohl diese Arten von Iterationen teuer sind, sind sie ein wichtiger Bestandteil der Modellentwicklung. Hyperparameter-Einstellungen können einen enormen Unterschied in der Modellqualität bewirken. Wir sollten daher immer ein gewisses Maß an Zeit und Rechenressourcen einplanen, um sicherzustellen, dass wir die bestmögliche Qualität erhalten.