Types de quotas
La plate-forme Earth Engine est soumise à un certain nombre de limites de quota afin de garantir une répartition équitable des ressources entre les utilisateurs. Comme de nombreux types de ressources sont disponibles dans Earth Engine (calcul, stockage, etc.), il existe de nombreux types de limites de quota.
La principale distinction entre les différents types de quotas est de savoir s'ils sont ajustables. Pour certains types de quotas, nous pouvons modifier les limites par utilisateur ou par projet, tandis que d'autres types sont des limites à l'échelle du système qui ne peuvent pas être modifiées.
Limites de quota ajustables
Les limites suivantes s'appliquent par projet.
| Type de quota | Valeur par défaut (par projet) |
|---|---|
| Nombre maximal de requêtes simultanées (point de terminaison standard) | 40 requêtes simultanées |
| Nombre maximal de requêtes simultanées (point de terminaison à volume élevé) | 40 requêtes simultanées |
| Taux maximal de requêtes (par projet) | 100 requêtes/s (6 000 requêtes/min) |
| Taux maximal de requêtes (par compte) | 100 requêtes/s (6 000 requêtes/min) |
| Tâches par lot simultanées moyennes | 2 tâches (en moyenne) |
| Espace de stockage maximal des éléments | 250 Go |
| Nombre maximal d'éléments | 10 000 |
| Temps de calcul Earth Engine (en temps d'EECU) par jour en secondes | Illimité |
Requêtes interactives simultanées
Chaque projet peut effectuer des requêtes interactives en parallèle, jusqu'à une limite de quota. Si la limite est dépassée, Earth Engine renvoie des "HTTP 429: Too Many Requests" erreurs. En règle générale, ces erreurs sont gérées par la bibliothèque cliente Earth Engine, qui encapsule les requêtes dans un délai exponentiel, en tentant à nouveau la requête jusqu'à ce qu'elle aboutisse. La bibliothèque cliente Earth Engine tente à nouveau la requête jusqu'à cinq fois.
Pour éviter de recevoir ces erreurs 429, vous pouvez activer la mise en cache pour votre application, par exemple à l'aide de memcache, afin d'éviter les requêtes redondantes lorsque cela est possible. Si vous utilisez une ancienne version de la bibliothèque cliente Earth Engine qui ne tente pas automatiquement de nouvelles requêtes, ou si une requête n'est toujours pas terminée après cinq tentatives, vous devrez peut-être implémenter un délai exponentiel autour des requêtes.
Taux de requêtes (RPS)
En plus des limites de simultanéité, Earth Engine limite le taux de requêtes interactives au niveau du projet et de l'utilisateur. Ces paramètres peuvent être ajustés dans le Cloud Console
Tâches par lot simultanées
Les tâches par lot sont limitées à un faible niveau de parallélisme, car elles utilisent plus de ressources que les requêtes interactives.
Lorsque vous utilisez Earth Engine à des fins non commerciales, le nombre maximal de tâches par lot que vous pouvez exécuter simultanément est déterminé par votre niveau non commercial.
Lorsque vous utilisez Earth Engine à des fins commerciales, le nombre maximal de tâches par lot que vous pouvez exécuter simultanément est déterminé par le forfait, bien qu'il puisse être réduit en définissant la limite de simultanéité des tâches par lot par projet. Par défaut, la limite de simultanéité des tâches par lot d'un projet est définie sur le maximum autorisé par le forfait configuré sur le compte de facturation du projet. Pour afficher ou modifier cette limite dans un projet, consultez la documentation de l'outil de ligne de commande tool.
Quota de stockage des éléments
Chaque élément Earth Engine est associé à une taille de stockage de données mesurée en octets. Les éléments peuvent appartenir à des projets Cloud ou à des personnes (éléments hérités). Chaque élément est pris en compte dans la limite Earth Engine de son propriétaire en termes de stockage global et de nombre d'éléments.
Pour demander un quota de stockage d'éléments supplémentaire à des fins non commerciales ou de recherche, consultez Utilisation non commerciale ou à des fins de recherche.
Temps d'EECU par jour
Si vous souhaitez contrôler les coûts, vous pouvez limiter la quantité de temps d'EECU qu'un projet est autorisé à consommer sur Earth Engine par jour. Par défaut, ce quota est illimité. Les administrateurs de quota peuvent définir cette limite dans Cloud
Console
en filtrant la métrique de quota earthengine.googleapis.com/daily_eecu_usage_time. Une fois défini, ce quota cumule le temps d'EECU consommé par les requêtes Earth Engine réussies de tous les utilisateurs d'un projet. Lorsque le quota est dépassé, les requêtes échouent jusqu'à ce que le quota soit réinitialisé le jour suivant ou que la limite soit augmentée. Pour en savoir plus sur la définition de ce quota, consultez le guide sur les
contrôles des coûts.
Limites de quota fixes
Ces types de limites de quota sont définis au niveau de la plate-forme. Ils ne peuvent donc pas être ajustés par utilisateur ni par projet. Il est peu probable qu'ils changent de manière significative au fil du temps.
Temps de calcul
Les différents types de requêtes ont des durées maximales différentes, qui sont détaillées en détail dans la documentation sur les environnements de traitement.
Pour obtenir de l'aide sur la résolution des erreurs de délai avant expiration, consultez le guide de débogage.
Espace mémoire utilisé par requête
Lorsqu'une requête échoue avec le message "User memory limit exceeded" (Limite de mémoire utilisateur dépassée), cela signifie qu'Earth Engine n'a pas pu calculer la réponse dans l'espace mémoire autorisé. La plate-forme de calcul EE dispose d'une quantité limitée de RAM disponible. Pour garantir la stabilité du système, chaque requête ne peut utiliser qu'une certaine quantité. La quantité maximale de mémoire disponible dépend du type de requête (par exemple, plus pour une tâche par lot que pour une tuile de carte), mais il s'agit de limites à l'échelle du système.
Pour obtenir de l'aide sur la résolution des erreurs de mémoire, consultez le guide de débogage.
Agrégations
Lors du traitement des requêtes Earth Engine, nous séparons certains types de sous-calculs qui sont connus pour être gourmands en ressources de calcul. Ces sous-calculs sont appelés "agrégations" et sont gérés de manière spéciale dans le système EE. Les résultats des agrégations sont mis en cache pour éviter tout nouveau calcul.
Agrégations simultanées
Pour éviter une augmentation incontrôlée des calculs, nous limitons le nombre d'agrégations qu'un utilisateur individuel peut exécuter simultanément. Cette limite est immuable. Lorsqu'une requête échoue avec le message "Too many concurrent aggregations" (Trop d'agrégations simultanées), cela signifie que le demandeur avait trop d'agrégations en cours d'exécution en même temps.
Pour obtenir de l'aide sur la résolution des erreurs d'agrégation simultanée, consultez le guide de débogage.
Résultats d'agrégation volumineux
Lorsqu'une requête échoue avec le message "Computed value too large" (Valeur calculée trop volumineuse), cela signifie que l'agrégation a renvoyé un résultat trop volumineux pour tenir dans notre cache. La limite de taille des résultats calculés est de 100 Mio, et il s'agit d'une limite à l'échelle du système.
Limites d'importation de tables
Les limites d'importation de tables sont expliquées dans le guide d'importation de données de table.
Taille de la charge utile de la requête
Une seule requête adressée à Earth Engine est limitée à 10 Mo. Cette limite n'est généralement dépassée que lorsqu'une grande quantité de données supplémentaires est incluse directement dans la requête, comme un fichier de formes ou une structure GeoJSON intégrée à la requête. Ces objets doivent plutôt être importés et transformés en élément FeatureCollection, puis référencés par l'ID d'élément.
Longueur de la file d'attente des tâches
Les tâches en attente de planification (à l'état READY) forment la "file d'attente des tâches". La file d'attente de chaque projet accepte un maximum de 3 000 tâches. Cela signifie qu'il n'est pas possible d'avoir plus de 3 000 tâches à l'état READY.
Limites de quota des fonctions raster BigQuery
Les quotas suivants s'appliquent aux appels à Earth Engine depuis BigQuery, par exemple lorsque vous
utilisez la
ST_REGIONSTATS
fonction SQL.
| Type de quota | Valeur par défaut (par projet) |
|---|---|
| Temps d'emplacement BigQuery par jour | 1 260 000 secondes d'emplacement (350 heures d'emplacement) |
Temps d'emplacement BigQuery par jour
Le quota de temps d'emplacement BigQuery par jour est un quota personnalisé qui vous permet de limiter la quantité de temps d'emplacement que les fonctions raster BigQuery sont autorisées à consommer sur Earth Engine au cours d'une journée donnée pour un projet donné. Le quota quotidien cumule le temps total de toutes les requêtes, même celles qui échouent. Vous pouvez afficher le quota dans la
Cloud Console
sous la métrique earthengine.googleapis.com/bigquery_slot_usage_time. La
valeur peut être ajustée à la hausse ou à la baisse par un administrateur de quota. Pour augmenter la valeur
au-delà de la valeur par défaut, créez une demande d'augmentation de quota
,
qui sera automatiquement approuvée. La modification devrait prendre effet dans les 10 minutes.
Si vous dépassez ce quota, BigQuery renvoie le message d'erreur suivant :
From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for'earthengine.googleapis.com/bigquery_slot_usage_time', which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.
Une fois le quota dépassé, les appels ST_REGIONSTATS échouent jusqu'à ce que le quota soit réinitialisé le jour suivant ou que la limite soit augmentée par un administrateur.