Earth Engine'de Cloud Optimized GeoTIFF'ler (COG'ler)

Google Earth Engine, kendi Google Cloud Storage (GCS) paketlerinizde depolanan raster verilerle çalışmanıza olanak tanır. Cloud Optimized GeoTIFF'leri (COG'ler) kullanarak pikselleri Earth Engine'in öğe deposuna aktarmanız gerekmeden verilerinize doğrudan Earth Engine'de erişebilir ve bunları analiz edebilirsiniz.

Bu bulut öncelikli yaklaşım, özellikle büyük veri kümelerini yönetme veya Earth Engine'i daha geniş Google Cloud iş akışlarına ya da harici araçlara ve platformlara entegre etme konusunda çeşitli avantajlar sunar.

Neden Cloud Storage ve COG'leri kullanmalısınız?

  • Esneklik ve birlikte çalışabilirlik: Verilerinizi, diğer araç ve hizmetlerin erişebileceği standart Cloud Storage paketlerinde saklayın. Verileri doğrudan yüklemeniz veya Earth Engine'den dışa aktarmanız fark etmeksizin Cloud Storage, hem Earth Engine hem de harici iş akışları için tek doğruluk kaynağı görevi görür.
  • Veri denetimleri ve çıkışı: Verilerin Cloud Storage'da depolanması, standart nesne depolama yönetimi özellikleri sağlar. Bu sayede, Ödeyen İstek Sahibi veya herkese açık paketler gibi Cloud Storage özelliklerini kullanarak verilerinizi indirebilir, taşıyabilir ya da paylaşabilir ve standart Cloud IAM'i kullanarak erişimi yönetebilirsiniz.
  • Esnek ölçeklendirme: Earth Engine depolama alanı sınırlarından kaçının. Cloud Storage, petabayt ölçeğinde neredeyse sınırsız, self servis depolama alanı ölçeklendirme olanağı sunar.
  • Aktarım için bekleme yok: COG kaydı hızlı bir şekilde tamamlanır. Bunun nedeni, Earth Engine'in yalnızca meta verileri (ör. projeksiyon ve boyutlar) okuyarak dosya başlığından dizine ekleme ve doğrulama yapmasıdır. Gerçek piksel verileri Cloud Storage'da kalır ve hesaplama sırasında isteğe bağlı olarak okunur. Bu sayede ayrı bir alım görevine gerek kalmaz.

Earth Engine'deki COG iş akışları

Earth Engine, Cloud Storage'da COG'larla çift yönlü iş akışlarını destekler: COG'ları doğrudan GCS'den Earth Engine'e okuyabilir ve hesaplama sonuçlarını Earth Engine'den doğrudan GCS'ye COG olarak yazabilirsiniz.

Cloud Storage'dan COG'leri okuma

GCS'de barındırılan COG'leri Earth Engine'e aktarmak için iki seçeneğiniz vardır:

  1. Doğrudan yükleme (ee.Image.loadGeoTIFF): Tek bir resmi GCS URI'sini kullanarak doğrudan yükleyin. Bu yöntem, hızlı testler, geçici analizler veya geçici veriler için idealdir:

    JavaScript

    var image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif');

    Python

    image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif')

    Tam örnekler için Cloud GeoTIFF'lerden alınan görüntüler başlıklı makaleyi inceleyin.

  2. Kayıtlı öğeler: Bir yükleme manifesti kullanarak bir veya daha fazla COG'yi Earth Engine öğesi olarak kaydedin (COG kayıt kılavuzuna bakın). Bu, özellikle görüntü koleksiyonları oluştururken üretim iş akışları için önerilen yoldur.

Özellik Doğrudan yükleme (loadGeoTIFF) Kayıtlı öğe (manifest)
Ayarlar Yok (yalnızca GCS URI'si) Manifest (Python istemcisi, CLI veya REST)
Performans Standart (okuma sırasında başlığı okur) Optimize edilmiş (oluşturulurken dizine eklenir)
Yönetim Öğe oluşturulmadı Depolama alanı kotasından değil, öğe sayısı kotasından düşülür.
Kullanım alanı Prototip oluşturma, özel analiz Hızlı okuma gerektiren üretim iş akışları.

COG'leri Cloud Storage'a yazma

Earth Engine hesaplama sonuçlarını Cloud Storage paketinizde COG olarak kaydetmek için Export.image.toCloudStorage toplu dışa aktarma işlevini kullanın (Görüntüleri dışa aktarma bölümüne bakın) ve formatOptions içinde cloudOptimized parametresini true olarak ayarlayın. Bu, Earth Engine'a görüntüyü derlemesini ve tamamen uyumlu bir COG olarak doğrudan GCS paketinize yazmasını söyler.

Desteklenen Cloud Storage paketi konumları

Earth Engine'in Cloud Storage paketinize erişebilmesi için paketin aşağıdaki veri merkezi bölgelerinden veya çoklu bölgelerden birinde bulunması gerekir:

  • us çok bölgeli
  • us-central1 içeren herhangi bir ABD çift bölgesi
  • us-central1 bölgesi

Bucket'ınız başka bir bölgesel veri merkezine yerleştirilmişse Earth Engine, kayıt ve okuma isteklerini reddeder. Earth Engine, yalnızca Google Cloud Storage paketlerinde depolanan COG'lara erişir. Harici bulut depolama alanı sağlayıcıları ve genel HTTP URL'leri desteklenmez.

Earth Engine COG dışa aktarma spesifikasyonları

formatOptions içinde cloudOptimized: true ile Export.image.toCloudStorage kullanarak Earth Engine'den analiz sonuçlarını dışa aktarırken Earth Engine'in yerleşik dışa aktarma aracı aşağıdaki standartları otomatik olarak uygular:

  • Dosya yapısı: Dahili döşeme (TILED=YES) içeren bir BigTIFF (BIGTIFF=YES) oluşturur ve tüm genel bakışları dosyanın başına kopyalar.
  • Otomatik genel bakışlar: Çıkış raster boyutları 512x512 piksel veya daha büyükse Earth Engine, otomatik olarak beş seviyeli ikinin kuvveti genel bakışlar ([2, 4, 8, 16, 32]) oluşturur. Earth Engine, çıkış piksel veri türüne göre genel bakış yeniden örnekleme yöntemini dinamik olarak seçer: kayan noktalı görüntüler için kübik yeniden örnekleme ve diğer tüm tam sayı veya ayrık görüntüler için en yakın komşu yeniden örnekleme.
  • Varsayılan sıkıştırma ve döşeme: Earth Engine, COG'leri 256x256 piksel blok döşeme ve LZW sıkıştırma (COMPRESS=LZW) ile dışa aktarır. Sıkıştırma ve döşeme boyutları formatOptions içinde özelleştirilemez.
  • Otomatik parçalama: Dışa aktarılan bir raster büyükse (ör. sıkıştırılmamış 4 GiB'ı aşıyorsa) Earth Engine, dışa aktarma işlemini otomatik olarak baseFilename-yMin-xMin adlı birden fazla mekansal kutucuğa böler (bkz. büyük dosya dışa aktarma işlemleri).
  • Parçalama sınırlarını geçersiz kılma: Büyük rasterleri (sıkıştırılmamış olarak 16 GiB ve kenar başına 131.072 piksel) tek bir dosya olarak parçalamadan dışa aktarmak için formatOptions içinde fileDimensions değerini belirtin. Her boyut, döşeme boyutunun pozitif bir tam sayı katı olmalıdır (örneğin, varsayılan olarak 256, [65536, 65536]). fileDimensions, çıkış sınırlayıcı kutusu yerine maksimum dosya boyutunu belirlediğinden büyük bir tavan değeri geçirmek, dışa aktarma işleminin tam ızgara hesaplamaları gerektirmeden tek bir dosyaya yapılmasını zorlar. Boş arka plan karolarının oluşturulmasını önlemek için skipEmptyFiles: true değerini de iletebilirsiniz.
  • Optimizasyonla ilgili ödünler: Büyük dışa aktarma işlemlerini yapılandırırken dosya sayısı ile dışa aktarma hızı arasındaki dengeyi değerlendirin. Daha küçük fileDimensions veya shardSize değerleri belirtmek daha fazla dosya parçası oluşturur ancak arka uç çalışanları arasında paralel işlemeyi en üst düzeye çıkararak dışa aktarma işleminin daha hızlı tamamlanmasını sağlar. Buna karşılık, tek bir büyük dosya oluşturmak için sınırları geçersiz kılmak, dosya yönetimini ve veri paylaşımını basitleştirir ancak tek dosya birleştirme ve G/Ç darboğazları nedeniyle dışa aktarma yürütme sürelerini artırabilir. Sıkıştırılmamış 16 GiB sınırına yaklaşan çok büyük tek dosyalı COG dışa aktarma işlemleri (özellikle iyi sıkıştırılmayan görüntüler) genel bakış ve COG montajı sırasında geçici depolama kapasitesini de aşabilir. Dışa aktarma işlemi başarısız olursa dosyayı daha küçük parçalara ayırmayı veya standart bir GeoTIFF dışa aktarma işlemini harici olarak dönüştürmeyi deneyin.

Earth Engine dışında COG oluşturma işlemini özelleştirme

Çoğu iş akışı için kullanıma hazır COG'ler oluşturmanın en basit yolu doğrudan cloudOptimized: true ile dışa aktarmak olsa da standart bir GeoTIFF (cloudOptimized: false, varsayılan) dışa aktarıp GDAL gibi harici araçları kullanarak kendiniz COG'ye dönüştürebilirsiniz. İki adımlı dışa aktarma ve dönüştürme iş akışı, aşağıdaki durumlarda yararlı olabilir:

  • Sıkıştırma ve düzeni özelleştirme: Blok boyutlarını (ör. 512x512), tahmin araçlarını, genel bakış yeniden örnekleme yöntemlerini veya sıkıştırma codec'lerini (ör. ZSTD) veri kümenize göre uyarlayın (COG'lerinizi hazırlama bölümüne bakın).
  • Büyük tek dosya dışa aktarımlarında kapasite hatalarını önleme: Dışa aktarma sırasında genel bakış oluşturma ve COG düzenini yeniden yazma işlemlerini atlamak, bellek ve geçici depolama alanı ek yükünü azaltır. Böylece, çok büyük tek dosya dışa aktarımlarının kapasite sınırlarına ulaşma olasılığı azalır.
  • Earth Engine dışa aktarma yürütme süresini kısaltma: Genel bakış oluşturma ve COG biçimlendirme işlemlerini kendi işlem ortamınıza aktarmak, Earth Engine dışa aktarma aşamasını kısaltır.

Maliyetle ilgili dikkat edilmesi gereken noktalar ve depolama sınıfları

Kayıtlı COG öğeleri analiz edilirken Earth Engine'den okuma işlemleri, Google Cloud projenizde Cloud Storage okuma işlemi veya veri alma ücretlerine neden olmaz.

Cloud Storage, öncelikle standart aylık aktif olmayan veri depolama (GB/ay) ve tüm harici istemci veri aktarımı veya ağ çıkış ücretleri (paketinizin konumuna ve istemci ağ yapılandırmasına bağlı olarak) için faturalandırılır.

Depolama sınıfı önerileri

  • Standart depolama alanı (önerilir): Standart depolama alanı, etkin Earth Engine iş akışları için en uygun seçenektir. Minimum depolama süresi kuralı olmadığı için geçici COG'ların üzerine yazabilir, bunları güncelleyebilir veya silebilirsiniz. Bu işlemler için erken silme cezası uygulanmaz. Ayrıca, siz veya ortak çalışanlarınız pakete masaüstü CBS yazılımı, GDAL komut dosyaları veya Earth Engine dışındaki makine öğrenimi not defterlerini kullanarak erişirseniz Standart depolama alanında perakende erişim ek ücreti alınmaz.
  • Nearline, Coldline ve Archive Storage: Tüm Cloud Storage sınıfları, Standard Storage ile aynı düşük gecikmeli erişimi ve işleme hızını sağlar. Bu nedenle, Earth Engine'de daha soğuk depolama katmanları kullanılırken okuma performansında herhangi bir düşüş yaşanmaz. Earth Engine hesaplamaları, perakende veri alma ücretleri değerlendirilmeden bu katmanları da okuyabilir ancak Cloud Storage perakende kuralları, katı minimum depolama süreleri (Nearline için 30 gün, Coldline için 90 gün, Archive için 365 gün) uygular. Dosyaların minimum saklama süresi dolmadan önce değiştirilmesi veya silinmesi, erken silme ek ücretlerine neden olur. Ayrıca, herhangi bir harici istemci aracından soğuk nesnelere erişmek, maliyetli veri alma ek ücretlerine neden olur.

Ayrıntılı perakende fiyatlandırması ve minimum süre politikaları için Google Cloud Storage Fiyatlandırma Kılavuzu'na bakın.

Üst düzey iş akışı

Earth Engine'da COG'leri kullanmaya yönelik tipik iş akışları aşağıdaki adımları içerir:

Harici verileri içe aktarmak için:

  • Optimize edin: Harita dosyalarınızı harici araçları (ör. GDAL, yerel iş istasyonu komut dosyaları veya bulut işleme işlem hatları) kullanarak COG biçimine dönüştürün.
  • Yükleme: COG'leri us-central1 veya ABD çoklu bölgesinde bulunan desteklenen bir Cloud Storage paketine yükleyin.
  • İzinler: Sizin ve proje ortak çalışanlarının dosyalara Cloud Storage okuma erişiminizin olduğundan emin olun (COG izinleri bölümüne bakın).
  • Kayıt: COG'leri Earth Engine öğeleri olarak kaydetmek için Python istemci kitaplığını, earthengine komut satırı aracını veya REST API'yi kullanın (COG kaydı bölümüne bakın).

Sonuçları dışa aktarmak için:

  • Dışa aktarma: Earth Engine'den Cloud Storage'a toplu dışa aktarma işlemi çalıştırın. cloudOptimized, true olarak ayarlanmalıdır (Görüntüleri dışa aktarma başlıklı makaleyi inceleyin).
  • Kayıt (isteğe bağlı): Dışa aktarılan COG'yi daha fazla analiz için yeni bir öğe olarak Earth Engine'e yeniden kaydedin (COG kaydı bölümüne bakın).

Başlamaya hazır mısınız? İlk öğenizi kaydetmek için ayrıntılı COG kayıt kılavuzunu inceleyin.