Cloud-optimierte GeoTIFFs (COGs) in der Earth Engine

Mit Google Earth Engine können Sie Rasterdaten verarbeiten, die in Ihren eigenen Google Cloud Storage-Buckets (GCS) gespeichert sind. Wenn Sie Cloud-optimierte GeoTIFFs (COGs) verwenden, können Sie direkt in Earth Engine auf Ihre Daten zugreifen und sie analysieren, ohne die Pixel in den Asset-Speicher von Earth Engine aufnehmen zu müssen.

Dieser Cloud-basierte Ansatz bietet mehrere Vorteile, insbesondere bei der Verwaltung großer Datensätze oder der Einbindung von Earth Engine in umfassendere Google Cloud-Workflows oder externe Tools und Plattformen.

Vorteile von Cloud Storage und COGs

  • Flexibilität und Interoperabilität:Sie können Ihre Daten in Standard-Cloud Storage-Buckets speichern, auf die andere Tools und Dienste zugreifen können. Unabhängig davon, ob Sie die Daten direkt hochladen oder aus Earth Engine exportieren, dient Cloud Storage als einzige verlässliche Quelle für Earth Engine- und externe Workflows.
  • Steuerelemente für Daten und ausgehender Traffic:Wenn Sie Daten in Cloud Storage speichern, stehen Ihnen die Standardfunktionen für die Verwaltung von Objektspeichern zur Verfügung. So können Sie Ihre Daten mit Cloud Storage-Funktionen wie „Zahler ist der Anfragesteller“ oder öffentlichen Buckets herunterladen, migrieren oder freigeben und den Zugriff mit dem Standard- Cloud IAM verwalten.
  • Flexible Skalierung: Sie müssen sich nicht an die Earth Engine Speicherlimits halten. Cloud Storage bietet eine praktisch unbegrenzte Self-Service-Speicherskalierung bis in den Petabyte-Bereich.
  • Keine Wartezeit bei der Aufnahme:Die Registrierung eines COG ist schnell abgeschlossen, da Earth Engine nur die Metadaten (z. B. Projektion und Abmessungen) aus dem Dateikopf zum Indexieren und Validieren liest. Die eigentlichen Pixeldaten verbleiben in Cloud Storage und werden bei der Berechnung bei Bedarf gelesen. Eine separate Aufgabe für die Aufnahme ist nicht erforderlich.

COG-Workflows in Earth Engine

Earth Engine unterstützt bidirektionale Workflows mit COGs in Cloud Storage: Sie können COGs direkt aus GCS in Earth Engine lesen und Berechnungsergebnisse aus Earth Engine direkt als COGs in GCS schreiben.

COGs aus Cloud Storage lesen

Es gibt zwei Möglichkeiten, in GCS gehostete COGs in Earth Engine zu verwenden:

  1. Direktes Laden (ee.Image.loadGeoTIFF): Sie können ein einzelnes Bild direkt über den GCS-URI laden. Diese Methode eignet sich am besten für schnelle Tests, Ad-hoc-Analysen oder temporäre Daten:

    JavaScript

    var image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif');

    Python

    image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif')

    Vollständige Beispiele finden Sie unter Bilder aus Cloud-GeoTIFFs.

  2. Registrierte Assets: Sie können ein oder mehrere COGs mit einem Upload-Manifest als ein Earth Engine-Asset registrieren (siehe die Anleitung zur COG-Registrierung). Dies ist der empfohlene Weg für Produktions-Workflows, insbesondere beim Erstellen von Bildsammlungen.

Funktion Direktes Laden (loadGeoTIFF) Registriertes Asset (Manifest)
Einrichtung Keine (nur GCS-URI) Manifest (Python-Client, CLI oder REST)
Leistung Standard (liest den Header beim Lesen) Optimiert (bei der Erstellung indexiert)
Verwaltung Kein Asset erstellt Wird auf das Kontingent für die Anzahl der Assets angerechnet, nicht auf den Speicher.
Anwendungsbeispiel Prototyping, Ad-hoc-Analyse Produktions-Workflows, die schnelle Lesevorgänge erfordern.

COGs in Cloud Storage schreiben

Wenn Sie Earth Engine-Berechnungsergebnisse als COGs in Ihrem Cloud Storage-Bucket speichern möchten, verwenden Sie die Export.image.toCloudStorage Batch-Exportfunktion (siehe Bilder exportieren) und legen Sie den cloudOptimized Parameter auf true in formatOptions fest. Dadurch wird Earth Engine angewiesen, das Bild zu kompilieren und als vollständig konformes COG direkt in Ihren GCS-Bucket zu schreiben.

Unterstützte Cloud Storage-Bucket-Standorte

Damit Earth Engine auf Ihren Cloud Storage-Bucket zugreifen kann, muss sich der Bucket in einer der folgenden Rechenzentrumsregionen oder Multi-Regionen befinden:

  • Die Multi-Region us
  • Eine beliebige US-Dual-Region, die us-central1 umfasst
  • Die Region us-central1

Wenn sich Ihr Bucket in einem anderen regionalen Rechenzentrum befindet, lehnt Earth Engine Registrierungs- und Leseanfragen ab. Earth Engine greift nur auf COGs zu, die in Google Cloud Storage-Buckets gespeichert sind. Externe Cloud-Speicheranbieter und generische HTTP-URLs werden nicht unterstützt.

Kosten und Speicherklassen

Bei der Analyse registrierter COG-Assets fallen für Lesevorgänge aus Earth Engine keine Gebühren für Cloud Storage-Lesevorgänge oder Datenabrufe für Ihr Google Cloud-Projekt an.

Cloud Storage berechnet Ihnen in erster Linie die monatlichen Standardgebühren für die Datenspeicherung (GB/Monat) sowie alle Gebühren für die Datenübertragung durch externe Clients oder für ausgehenden Traffic (abhängig vom Bucket-Standort und der Client-Netzwerkkonfiguration).

Empfehlungen für Speicherklassen

  • Standard Storage (empfohlen) : Standard Storage eignet sich am besten für aktive Earth Engine-Workflows. Da es keine Regeln für die Mindestspeicherdauer gibt, können Sie temporäre COGs frei überschreiben, aktualisieren oder löschen, ohne dass Gebühren für die vorzeitige Löschung anfallen. Wenn Sie oder Ihre Mitarbeiter außerdem mit Desktop-GIS-Software, GDAL-Skripts oder Machine Learning-Notebooks außerhalb von Earth Engine auf den Bucket zugreifen, fallen für Standard Storage keine zusätzlichen Gebühren für den Abruf im Einzelhandel an.
  • Nearline Storage, Coldline Storage und Archive Storage:Alle Cloud Storage-Klassen bieten den gleichen Zugriff mit niedriger Latenz und den gleichen Durchsatz wie Standard Storage. Es gibt also keine Einbußen bei der Leseleistung, wenn Sie in Earth Engine kältere Speicherstufen verwenden. Earth Engine-Berechnungen können diese Stufen auch lesen, ohne dass Gebühren für den Abruf von Einzelhandelsdaten anfallen. Die Einzelhandelsregeln von Cloud Storage erzwingen jedoch strenge Mindestspeicherdauern (30 Tage für Nearline Storage, 90 Tage für Coldline Storage, 365 Tage für Archive Storage). Wenn Sie Dateien vor Ablauf der Mindestspeicherdauer ändern oder löschen, fallen Gebühren für die vorzeitige Löschung an. Außerdem fallen für den Zugriff auf kalte Objekte über ein externes Client-Tool kostspielige Gebühren für den Datenabruf an.

Ausführliche Informationen zu Einzelhandelspreisen und Richtlinien zur Mindestspeicherdauer finden Sie im Google Cloud Storage-Preisleitfaden.

Allgemeiner Workflow

Typische Workflows für die Verwendung von COGs in Earth Engine umfassen die folgenden Schritte:

Für den Import externer Daten :

  • Optimieren:Konvertieren Sie Ihre Rasterdateien mit externen Tools (z. B. GDAL, Skripts für lokale Arbeitsstationen oder Cloud-Verarbeitungspipelines) in das COG-Format.
  • Hochladen:Laden Sie die COGs in einen unterstützten Cloud Storage-Bucket in us-central1 oder einer US-Multi-Region hoch.
  • Berechtigungen: Achten Sie darauf, dass Sie und alle Projektmitarbeiter Lesezugriff auf die Dateien in Cloud Storage haben (siehe COG Berechtigungen).
  • Registrieren: Registrieren Sie die COGs mit der Python-Clientbibliothek, dem earthengine Befehlszeilen tool oder der REST API als Earth Engine-Assets (siehe COG Registrierung).

Für den Export von Ergebnissen :

  • Exportieren: Führen Sie einen Batch-Export von Earth Engine nach Cloud Storage aus, wobei cloudOptimized auf true gesetzt ist (siehe Bilder exportieren).
  • Registrieren (optional): Registrieren Sie das exportierte COG wieder in Earth Engine als neues Asset für weitere Analysen (siehe COG-Registrierung).

Startbereit? Folgen Sie der detaillierten Anleitung zur COG-Registrierung, um Ihr erstes Asset zu registrieren.