Comparaison des inférences statique et dynamique

Vous avez le choix entre les stratégies d'inférence ci-dessous :

  • L'inférence hors ligne, qui implique la création groupée de toutes les prédictions possibles avec un calcul MapReduce ou une méthode similaire. Les prédictions sont ensuite enregistrées dans une table SSTable ou Bigtable, puis transférées dans une table de mise en cache ou de recherche.
  • L'inférence en ligne, qui implique des prédictions à la demande à l'aide d'un serveur.

Pour en savoir plus sur les différences entre l'inférence statique et l'inférence dynamique, regardez la vidéo suivante (d'une durée de 2 minutes).

Comparaison des inférences statique et dynamique

Paradigmes du système de ML : inférence

Inférence hors ligne

  • Permet d'effectuer toutes les prédictions possibles dans un lot, à l'aide d'un calcul MapReduce ou d'une autre méthode.
  • Permet d'enregistrer les prédictions dans une table, puis de les transférer à une table de mise en cache ou de recherche.

Inférence en ligne

  • Permet d'effectuer des prédictions à la demande à l'aide d'un serveur.

Paradigmes du système de ML : inférence

Inférence hors ligne

  • Permet d'effectuer toutes les prédictions possibles dans un lot, à l'aide d'un calcul MapReduce ou d'une autre méthode.
  • Permet d'enregistrer les prédictions dans une table, puis de les transférer à une table de mise en cache ou de recherche.
  • Avantage : le coût de l'inférence est limité.
  • Avantage : il est possible d'utiliser des quotas de lots.
  • Avantage : les prédictions peuvent être vérifiées avant d'être utilisées.

Paradigmes du système de ML : inférence

Inférence hors ligne

  • Permet d'effectuer toutes les prédictions possibles dans un lot, à l'aide d'un calcul MapReduce ou d'une autre méthode.
  • Permet d'enregistrer les prédictions dans une table, puis de les transférer à une table de mise en cache ou de recherche.
  • Avantage : le coût de l'inférence est limité.
  • Avantage : il est possible d'utiliser des quotas de lots.
  • Avantage : les prédictions peuvent être vérifiées avant d'être utilisées.
  • Inconvénient : les prédictions ne peuvent être générées que pour les exemples connus, ce qui n'est pas optimal pour les requêtes de longue traîne.
  • Inconvénient : la latence des mises à jour se compte en heures, voire en jours.

Paradigmes du système de ML : inférence

Inférence en ligne

  • Permet d'effectuer des prédictions à la demande à l'aide d'un serveur.
  • Avantage : les prédictions sont générées à mesure que les requêtes sont effectuées, ce qui est idéal pour les requêtes de longue traîne.

Paradigmes du système de ML : inférence

Inférence en ligne

  • Permet d'effectuer des prédictions à la demande à l'aide d'un serveur.
  • Avantage : les prédictions sont générées à mesure que les requêtes sont effectuées, ce qui est idéal pour les requêtes de longue traîne.
  • Inconvénient : les ressources de calcul requises pour le traitement des prédictions sont plus importantes, et la latence plus élevée, ce qui peut limiter la complexité du modèle.
  • Inconvénient : cette méthode implique un suivi plus poussé.

Résumé du cours vidéo

Voici les avantages et les inconvénients de l'inférence hors ligne :

  • Avantage : le coût de l'inférence est limité.
  • Avantage : il est possible d'utiliser des quotas de lots.
  • Avantage : les prédictions peuvent être vérifiées avant d'être utilisées.
  • Inconvénient : les prédictions ne peuvent être générées que pour les exemples connus, ce qui n'est pas optimal pour les requêtes de longue traîne.
  • Inconvénient : la latence des mises à jour se compte en heures, voire en jours.

Voici les avantages et les inconvénients de l'inférence en ligne :

  • Avantage : les prédictions sont générées à mesure que les requêtes sont effectuées, ce qui est idéal pour les requêtes de longue traîne.
  • Inconvénient : les ressources de calcul requises pour le traitement des prédictions sont plus importantes, et la latence plus élevée, ce qui peut limiter la complexité du modèle.
  • Inconvénient : cette méthode implique un suivi plus poussé.

Envoyer des commentaires concernant…

Cours d'initiation au machine learning