Bevor Sie mit diesem Modul beginnen, sollten Sie prüfen, ob es Schwierigkeiten gibt, den unter Trainings- und Test-Datasets beschriebenen Trainingsprozess zu verwenden.
Sehen Sie sich die folgenden Optionen an.
Wir haben einen Prozess zur Verwendung eines Test-Datasets und eines Trainings-Datasets zur Förderung von Iterationen der Modellentwicklung betrachtet. Bei jedem Durchlauf trainieren wir mit den Trainingsdaten und werten sie anhand der Testdaten aus. Dabei verwenden wir die Bewertungsergebnisse an den Testdaten, um Entscheidungen für verschiedene Modell-Hyperparameter wie Lernrate und Features zu treffen und diese zu ändern. Gibt es an diesem Ansatz etwas auszusetzen? (Wählen Sie nur eine Antwort aus.)
Absolut in Ordnung. Wir trainieren mit Trainingsdaten und werten separate, ausdauernde Testdaten aus.
Hier liegt ein subtiles Problem vor. Überlegen Sie, was passieren würde, wenn wir viele, viele Iterationen dieses Formulars durchführen würden.
Wenn dieses Verfahren viele Runden durchläuft, könnten wir implizit mit den Besonderheiten unseres spezifischen Test-Datasets übereinstimmen.
Ja, in der Tat. Je häufiger wir anhand eines bestimmten Test-Datasets bewerten, desto größer ist das Risiko einer impliziten Überanpassung bei diesem Test-Dataset.
Als Nächstes schauen wir uns ein besseres Protokoll an.
Dies ist rechenineffizient. Wir sollten einfach einen Standardsatz von Hyperparametern auswählen und mit ihnen leben, um Ressourcen zu sparen.
Obwohl diese Art von Iterationen teuer ist, sind sie ein wichtiger Bestandteil der Modellentwicklung. Hyperparameter-Einstellungen können einen enormen Unterschied in der Modellqualität ausmachen. Daher sollten wir immer einen gewissen Zeit- und Rechenaufwand für die bestmögliche Qualität einplanen.