Datasets, Generalisierung und Überanpassung

Geschätzte Moduldauer: 105 Minuten

Lernziele

• Identifizieren Sie vier verschiedene Merkmale von Daten und Datasets.
• Identifizieren Sie mindestens vier verschiedene Ursachen für die Unzuverlässigkeit von Daten.
• Bestimmen Sie, wann fehlende Daten verworfen und wann diese berechnet werden sollen.
• Zwischen direkten und abgeleiteten Labels unterscheiden
• Zwei unterschiedliche Möglichkeiten identifizieren, um die Qualität der von Menschen bewerteten Inhalte zu verbessern Labels.
• Erläutern Sie, warum ein Dataset in Trainings-, Validierungs- und und Test-Dataset. um ein potenzielles Problem bei Datenaufteilungen zu identifizieren.
• Erläutere eine Überanpassung und nenne drei mögliche Ursachen dafür.
• Das Konzept der Regularisierung erklären Erläutern Sie insbesondere die Folgendes:
  • Verzerrung und Varianz (Anpassung an Ausreißer...)
  • L₂-Regularisierung, einschließlich Lambda (Regularisierung) Preis)
  • Vorzeitiges Beenden
• Verschiedene Arten von Verlustkurven interpretieren Konvergenz erkennen und eine Überanpassung an Verlustkurven.

Voraussetzungen:

In diesem Modul wird davon ausgegangen, dass Sie mit den Konzepten der folgenden Modulen:

• Einführung in maschinelles Lernen
• Lineare Regression
• Mit numerischen Daten arbeiten
• Mit kategorialen Daten arbeiten

Einführung

Dieses Modul beginnt mit einer Suggestivfrage. Wählen Sie eine der folgenden Antworten aus:

Wenn Sie in einem der folgenden Bereiche Verbesserungsbedarf hatten, die in Ihrem ML-Projekt am meisten Auswirkungen?

Qualität Ihres Datasets verbessern

Daten haben Vorrang vor allen. Die Qualität und Größe des Datasets ist viel wichtiger als das, mit dem Sie Ihr Modell erstellen.

Eine cleverere Verlustfunktion zum Trainieren Ihres Modells anwenden

Richtig, eine bessere Verlustfunktion kann dazu beitragen, dass ein Modell schneller ist es noch eine Sekunde von einem anderen Element auf dieser Liste entfernt.

Und hier kommt eine noch Suggestivfrage:

Lassen Sie es raten: Wie viel Zeit in Ihrem ML-Projekt widmen Sie sich normalerweise der Datenvorbereitung und -transformation?

Mehr als die Hälfte der Projektzeit

Ja, ML-Anwender verbringen den Großteil ihrer Zeit für das Erstellen von Datasets und für Feature Engineering.

Weniger als die Hälfte der Projektzeit

Planen Sie für mehr! Bei Machine Learning werden üblicherweise 80 % mit dem Erstellen von Datasets und Transformieren von Daten.

In diesem Modul erfahren Sie mehr über die Eigenschaften des maschinellen Lernens. Datasets und wie Sie Ihre Daten aufbereiten, um qualitativ hochwertige Ergebnisse zu gewährleisten, wenn Training und Bewertung Ihres Modells.

Hilfe