Quiz sur la présentation des modèles d'IA sur GPU

1. Quelle est la principale différence entre l'entraînement et l'inférence ?

   L'entraînement n'utilise que la passe avant, tandis que l'inférence utilise la passe avant et la passe arrière.

   L'entraînement met à jour les pondérations, mais pas l'inférence.

   L'inférence nécessite des ensembles de données plus volumineux que l'entraînement.

   L'inférence utilise toujours des processeurs

2. Que définissent principalement les formats de modèle ?

   Taux de compression des journaux d'entraînement

   Sérialisation des pondérations, des biais et des métadonnées

   Nombre de jetons qu'un modèle peut générer

   Planification des GPU

3. Les moteurs TensorRT sont décrits comme suit :

   Points de contrôle portables pour la recherche

   Formats d'échange indépendants du fournisseur

   Binaires optimisés pour les GPU compilés pour un matériel spécifique

   Formats légers axés sur la communauté

4. En quoi les GPU sont-ils mieux adaptés à l'inférence que les CPU ?

   Ils utilisent moins de cœurs

   Ils disposent de milliers de cœurs parallèles optimisés pour les calculs matriciels.

   Ils consomment beaucoup d'énergie par cœur.

   Elles gèrent des instructions plus variées

5. Qu'est-ce que le "point d'inflexion" dans l'optimisation des performances ?

   Valeur de latence à laquelle le débit s'effondre

   Point où le débit s'améliore sans trop nuire à la latence

   Latence la plus lente observée

   L'empreinte mémoire minimale qu'un modèle peut atteindre, quels que soient les compromis de performances

Envoyer les réponses