Quiz zur Einführung in KI-Modelle auf GPUs

1. Was ist der Hauptunterschied zwischen Training und Inferenz?

   Beim Training wird nur der Forward-Pass verwendet, bei der Inferenz der Forward- und der Backward-Pass.

   Beim Training werden die Gewichte aktualisiert, bei der Inferenz nicht.

   Für die Inferenz sind größere Datasets als für das Training erforderlich.

   Für die Inferenz werden immer CPUs verwendet

2. Was wird hauptsächlich durch Modellformate definiert?

   Das Komprimierungsverhältnis von Trainingslogs

   Serialisierung von Gewichten, Bias und Metadaten

   Die Anzahl der Tokens, die ein Modell generieren kann

   Planung von GPUs

3. TensorRT-Engines lassen sich am besten so beschreiben:

   Tragbare Prüfpunkte für die Forschung

   Anbieterunabhängige Austauschformate

   Für bestimmte Hardware kompilierte GPU-optimierte Binärdateien

   Einfache, communitybasierte Formate

4. What makes GPUs well-suited for inference compared to CPUs?

   Sie verwenden weniger Kerne.

   Sie haben Tausende von parallelen Kernen, die für Matrixberechnungen optimiert sind.

   Sie verbrauchen viel Strom pro Kern.

   Sie können vielfältigere Anweisungen verarbeiten

5. Was ist der „Knickpunkt“ bei der Leistungsoptimierung?

   Der Wert der Latenz, bei dem der Durchsatz einbricht

   Der Punkt, an dem sich der Durchsatz verbessert, ohne die Latenz zu stark zu beeinträchtigen

   Die langsamste beobachtete Latenz

   Der minimale Speicherbedarf, der für ein Modell erreicht werden kann, unabhängig von Leistungseinbußen

Antworten senden