Cloud Optimized GeoTIFF (COG) in Earth Engine

Google Earth Engine ti consente di lavorare con i dati raster archiviati nei tuoi bucket Google Cloud Storage (GCS). Utilizzando i file Cloud Optimized GeoTIFF (COG), puoi accedere e analizzare i tuoi dati direttamente in Earth Engine senza dover inserire i pixel nell'archivio asset di Earth Engine.

Questo approccio cloud-first offre diversi vantaggi, soprattutto per la gestione di set di dati di grandi dimensioni o l'integrazione di Earth Engine in workflow Google Cloud più ampi o in strumenti e piattaforme esterni.

Perché utilizzare Cloud Storage e i file COG?

  • Flessibilità e interoperabilità: mantieni i tuoi dati nei bucket Cloud Storage standard, dove possono essere accessibili da altri strumenti e servizi. Che tu carichi i dati direttamente o li esporti da Earth Engine, Cloud Storage funge da unica fonte di verità sia per Earth Engine sia per i workflow esterni.
  • Controlli relativi ai dati e in uscita: l'archiviazione dei dati in Cloud Storage fornisce funzionalità di gestione dell'archiviazione degli oggetti standard. In questo modo puoi scaricare, eseguire la migrazione, o condividere i tuoi dati utilizzando le funzionalità di Cloud Storage come Richiedente paga o i bucket pubblici, e gestire l'accesso utilizzando Cloud IAM standard .
  • Scalabilità flessibile: evita i limiti di archiviazione di Earth Engine. Cloud Storage offre una scalabilità dell'archiviazione self-service praticamente illimitata fino alla scala dei petabyte.
  • Nessuna attesa per l'importazione: la registrazione di un file COG viene completata rapidamente perché Earth Engine legge solo i metadati (come la proiezione e le dimensioni) dall'intestazione del file per l'indicizzazione e la convalida. I dati dei pixel effettivi rimangono in Cloud Storage e vengono letti on demand durante il calcolo, eliminando la necessità di un'attività di inserimento separata.

Workflow dei file COG in Earth Engine

Earth Engine supporta i workflow bidirezionali con i file COG su Cloud Storage: puoi leggere i file COG direttamente da GCS in Earth Engine e puoi scrivere i risultati dei calcoli da Earth Engine direttamente in GCS come file COG.

Lettura dei file COG da Cloud Storage

Per importare i file COG ospitati in GCS in Earth Engine, hai due opzioni:

  1. Caricamento diretto (ee.Image.loadGeoTIFF): carica una singola immagine direttamente utilizzando il relativo URI GCS. Questa opzione è ideale per test rapidi, analisi ad hoc o dati temporanei:

    JavaScript

    var image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif');

    Python

    image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif')

    Per esempi completi, consulta Immagini da Cloud GeoTIFF.

  2. Asset registrati: registra uno o più file COG come asset di Earth Engine utilizzando un manifest di caricamento (consulta la guida alla registrazione dei file COG). Questo è il percorso consigliato per i workflow di produzione, soprattutto quando crei raccolte di immagini.

Funzionalità Caricamento diretto (loadGeoTIFF) Asset registrato (manifest)
Configurazione Nessuna (solo URI GCS) Manifest (client Python, CLI o REST)
Prestazioni Standard (legge l'intestazione durante la lettura) Ottimizzato (indicizzato al momento della creazione)
Gestione Nessun asset creato Viene conteggiato ai fini della quota di conteggio degli asset, non dell'archiviazione.
Caso d'uso Prototipazione, analisi ad hoc Workflow di produzione che richiedono letture rapide.

Scrittura dei file COG in Cloud Storage

Per salvare i risultati dei calcoli di Earth Engine come file COG nel bucket Cloud Storage, utilizza la Export.image.toCloudStorage funzione di esportazione batch (vedi Esportare immagini) e imposta il parametro cloudOptimized su true in formatOptions. In questo modo, Earth Engine compilerà l'immagine e la scriverà direttamente nel bucket GCS come file COG completamente conforme.

Località dei bucket Cloud Storage supportate

Affinché Earth Engine possa accedere al tuo bucket Cloud Storage, il bucket deve trovarsi in una delle seguenti regioni o multiregioni del data center:

  • La multiregione us
  • Qualsiasi regione a due regioni degli Stati Uniti che includa us-central1
  • La regione us-central1

Se il bucket si trova in un altro data center regionale, Earth Engine rifiuterà le richieste di registrazione e lettura. Earth Engine accede ai file COG archiviati esclusivamente nei bucket Google Cloud Storage. I fornitori di spazio di archiviazione sul cloud esterni e gli URL HTTP generici non sono supportati.

Considerazioni sui costi e classi di archiviazione

Quando analizzi gli asset COG registrati, le letture da Earth Engine non comportano costi di operazione di lettura o recupero dei dati di Cloud Storage nel tuo progetto Google Cloud.

Cloud Storage ti addebita principalmente l'archiviazione dei dati at-rest mensile standard (GB/mese) e le eventuali tariffe di trasferimento dei dati o in uscita dalla rete dei client esterni (a seconda della località del bucket e della configurazione di rete del client).

Suggerimenti per le classi di archiviazione

  • Archiviazione standard (consigliata): l'archiviazione standard è più adatta ai workflow di Earth Engine attivi. Poiché non prevede regole di durata minima dell'archiviazione, puoi sovrascrivere, aggiornare o eliminare liberamente i file COG temporanei senza incorrere in sanzioni per l'eliminazione anticipata. Inoltre, se tu o i tuoi collaboratori accedete al bucket utilizzando software GIS desktop, script GDAL o notebook di machine learning al di fuori di Earth Engine, Standard Storage non comporta costi aggiuntivi di recupero al dettaglio.
  • Archiviazione Nearline, Coldline e Archive: tutte le classi di archiviazione di Cloud Storage forniscono lo stesso accesso a bassa latenza e lo stesso throughput dell'archiviazione standard, quindi non ci sono penalità di prestazioni di lettura quando utilizzi livelli di archiviazione più freddi in Earth Engine. Sebbene i calcoli di Earth Engine possano leggere anche questi livelli senza addebitare tariffe di recupero dei dati al dettaglio, le regole di vendita al dettaglio di Cloud Storage applicano durate minime di archiviazione rigorose (30 giorni per Nearline, 90 giorni per Coldline, 365 giorni per Archive). La modifica o l'eliminazione dei file prima della durata minima comporta costi aggiuntivi per l'eliminazione anticipata. Inoltre, l'accesso agli oggetti cold da qualsiasi strumento client esterno comporta costi aggiuntivi per il recupero dei dati.

Per informazioni dettagliate sui prezzi al dettaglio e sulle norme relative alla durata minima, consulta la Guida ai prezzi di Google Cloud Storage.

Workflow di alto livello

I workflow tipici per l'utilizzo dei file COG in Earth Engine prevedono i seguenti passaggi:

Per l'importazione di dati esterni:

  • Ottimizza: converti i file raster in formato COG utilizzando strumenti esterni (come GDAL, script della workstation locale o pipeline di elaborazione cloud).
  • Carica: carica i file COG in un bucket Cloud Storage supportato che si trova in us-central1 o in una multiregione degli Stati Uniti.
  • Autorizzazioni: assicurati che tu e tutti i collaboratori del progetto abbiate accesso in lettura ai file di Cloud Storage (vedi autorizzazioni dei file COG).
  • Registra: utilizza la libreria client Python, earthengine strumento a riga di comando o l'API REST per registrare i file COG come asset di Earth Engine (vedi Registrazione dei file COG).

Per l'esportazione dei risultati:

  • Esporta: esegui un'esportazione batch da Earth Engine a Cloud Storage con cloudOptimized impostato su true (vedi Esportare immagini).
  • Registra (facoltativo): registra nuovamente il file COG esportato in Earth Engine come nuovo asset per ulteriori analisi (vedi Registrazione dei file COG).

Iniziamo? Segui la guida dettagliata alla registrazione dei file COG per registrare il tuo primo asset.