Google Earth Engine vous permet d'utiliser des données raster stockées dans vos propres buckets Google Cloud Storage (GCS). En utilisant des GeoTIFF optimisés pour le cloud (COG), vous pouvez accéder à vos données et les analyser directement dans Earth Engine sans avoir à ingérer les pixels dans le magasin d'éléments d'Earth Engine.
Cette approche axée sur le cloud offre plusieurs avantages, en particulier pour la gestion de grands ensembles de données ou l'intégration d'Earth Engine dans des workflows Google Cloud plus larges ou des outils et plates-formes externes.
Pourquoi utiliser Cloud Storage et les COG ?
- Flexibilité et interopérabilité : conservez vos données dans des buckets Cloud Storage standards auxquels d'autres outils et services peuvent accéder. Que vous importiez les données directement ou que vous les exportiez depuis Earth Engine, Cloud Storage sert de source unique de référence pour Earth Engine et les workflows externes.
- Contrôle et sortie des données : le stockage des données dans Cloud Storage offre des fonctionnalités standards de gestion du stockage d'objets. Vous pouvez ainsi télécharger, migrer, ou partager vos données à l'aide de fonctionnalités Cloud Storage telles que Requester Pays ou les buckets publics, et gérer l'accès à l'aide de Cloud IAM standard.
- Scaling flexible : évitez les limites de stockage d'Earth Engine . Cloud Storage fournit un scaling de stockage en libre-service pratiquement illimité à l'échelle du pétaoctet.
- Pas d'attente d'ingestion : l'enregistrement d'un COG s'effectue rapidement, car Earth Engine ne lit que les métadonnées (telles que la projection et les dimensions) de l'en-tête du fichier pour l'indexation et la validation. Les données de pixels réelles restent dans Cloud Storage et sont lues à la demande lors du calcul, ce qui élimine le besoin d'une tâche d'ingestion distincte.
Workflows COG dans Earth Engine
Earth Engine est compatible avec les workflows bidirectionnels avec les COG sur Cloud Storage : vous pouvez lire les COG directement depuis GCS dans Earth Engine et écrire les résultats de calcul d'Earth Engine directement dans GCS en tant que COG.
Lecture des COG à partir de Cloud Storage
Pour importer des COG hébergés sur GCS dans Earth Engine, deux options s'offrent à vous :
Chargement direct (
ee.Image.loadGeoTIFF) : chargez une seule image directement à l'aide de son URI GCS. Cette option est idéale pour les tests rapides, les analyses ad hoc ou les données temporaires :JavaScript
var image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif');Python
image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif')Pour obtenir des exemples complets, consultez Images à partir de Cloud GeoTIFF.
Éléments enregistrés : enregistrez un ou plusieurs COG en tant qu' élément Earth Engine à l'aide d'un fichier manifeste d'importation (consultez le guide d'enregistrement des COG). Il s'agit du chemin recommandé pour les workflows de production, en particulier lors de la création de collections d'images.
| Fonctionnalité | Chargement direct (loadGeoTIFF) |
Élément enregistré (fichier manifeste) |
|---|---|---|
| Configuration | Aucune (uniquement l'URI GCS) | Fichier manifeste (client Python, CLI ou REST) |
| Performances | Standard (lecture de l'en-tête lors de la lecture) | Optimisé (indexé lors de la création) |
| Gestion | Aucun élément créé | Comptabilisé dans le quota de nombre d'éléments, et non dans le stockage. |
| Cas d'utilisation | Prototypage, analyse ad hoc | Workflows de production nécessitant des lectures rapides. |
Écriture des COG dans Cloud Storage
Pour enregistrer les résultats de calcul d'Earth Engine en tant que COG dans votre bucket Cloud Storage,
utilisez la
Export.image.toCloudStorage
fonction d'exportation par lot (consultez Exporter
des images) et définissez
le paramètre cloudOptimized sur true dans formatOptions. Cela indique à Earth Engine de compiler l'image et de l'écrire directement dans votre bucket GCS en tant que COG entièrement conforme.
Emplacements de buckets Cloud Storage compatibles
Pour qu'Earth Engine puisse accéder à votre bucket Cloud Storage, celui-ci doit se trouver dans l'une des régions ou zones multirégionales de centre de données suivantes :
- La zone multirégionale
us - Toute zone birégionale des États-Unis incluant
us-central1 - La région
us-central1
Si votre bucket est placé dans un autre centre de données régional, Earth Engine rejettera les demandes d'enregistrement et de lecture. Earth Engine accède aux COG stockés exclusivement dans les buckets Google Cloud Storage. Les fournisseurs de stockage cloud externes et les URL HTTP génériques ne sont pas compatibles.
Considérations sur les coûts et classes de stockage
Lorsque vous analysez des éléments COG enregistrés, les lectures d'Earth Engine n'entraînent pas de frais d'opération de lecture ou de récupération de données Cloud Storage sur votre projet Google Cloud.
Cloud Storage vous facture principalement le stockage de données au repos mensuel standard (Go/mois) et les frais de transfert de données ou de sortie réseau des clients externes (en fonction de l'emplacement de votre bucket et de la configuration réseau du client).
Recommandations concernant les classes de stockage
- Stockage standard (recommandé) : le stockage standard est le mieux adapté aux workflows Earth Engine actifs. Comme il n'existe aucune règle de durée de stockage minimale, vous pouvez librement remplacer, mettre à jour ou supprimer des COG temporaires sans encourir de pénalités de suppression anticipée. De plus, si vous ou vos collaborateurs accédez au bucket à l'aide d'un logiciel SIG de bureau, de scripts GDAL ou de notebooks de machine learning en dehors d'Earth Engine, le stockage standard n'entraîne aucun supplément de récupération au détail.
- Stockage Nearline, Coldline et Archive : toutes les classes Cloud Storage offrent le même accès à faible latence et le même débit que le stockage standard. Il n'y a donc aucune pénalité de performances de lecture lorsque vous utilisez des niveaux de stockage plus froids dans Earth Engine. Bien que les calculs Earth Engine puissent également lire ces niveaux sans facturer de frais de récupération de données au détail, les règles de vente au détail de Cloud Storage appliquent des durées de stockage minimales strictes (30 jours pour Nearline, 90 jours pour Coldline, 365 jours pour Archive). La modification ou la suppression de fichiers avant leur durée minimale entraîne des suppléments de suppression anticipée. De plus, l'accès à des objets froids à partir d'un outil client externe entraîne des suppléments de récupération de données coûteux.
Pour obtenir des informations détaillées sur les tarifs au détail et les règles de durée minimale, consultez le Guide des tarifs de Google Cloud Storage.
Workflow de haut niveau
Les workflows types d'utilisation des COG dans Earth Engine comprennent les étapes suivantes :
Pour importer des données externes :
- Optimiser : convertissez vos fichiers raster au format COG à l'aide d'outils externes (tels que GDAL, des scripts de poste de travail locaux ou des pipelines de traitement cloud).
- Importer : importez les COG dans un bucket Cloud Storage compatible situé dans
us-central1ou dans une zone multirégionale des États-Unis. - Autorisations : assurez-vous que vous et tous les collaborateurs du projet disposez d'un accès en lecture Cloud Storage aux fichiers (consultez Autorisations COG).
- Enregistrer : utilisez la bibliothèque cliente Python, l'outil de ligne de commande
earthengineou l'API REST pour enregistrer les COG en tant qu'éléments Earth Engine (consultez Enregistrement des COG).
Pour exporter les résultats :
- Exporter : exécutez une exportation par lot d'Earth Engine vers Cloud Storage avec
cloudOptimizeddéfini surtrue(consultez Exporter des images). - Enregistrer (facultatif) : enregistrez le COG exporté dans Earth Engine en tant que nouvel élément pour une analyse plus approfondie (consultez Enregistrement des COG).
Prêt à vous lancer ? Suivez le guide d'enregistrement détaillé des COG pour enregistrer votre premier élément.