Google Earth Engine, kendi Google Cloud Storage (GCS) paketlerinizde depolanan raster verilerle çalışmanıza olanak tanır. Bulut için Optimize Edilmiş GeoTIFF'leri (COG) kullanarak pikselleri Earth Engine'in öğe deposuna aktarmak zorunda kalmadan verilerinize doğrudan Earth Engine'den erişebilir ve verilerinizi analiz edebilirsiniz.
Bu bulut öncelikli yaklaşım, özellikle büyük veri kümelerini yönetme veya Earth Engine'i daha geniş Google Cloud iş akışlarına ya da harici araç ve platformlara entegre etme konusunda çeşitli avantajlar sunar.
Neden Cloud Storage ve COG'leri kullanmalısınız?
- Esneklik ve birlikte çalışabilirlik: Verilerinizi, diğer araçlar ve hizmetler tarafından erişilebilecek standart Cloud Storage paketlerinde saklayın. Verileri doğrudan yüklemeniz veya Earth Engine'den dışa aktarmanız fark etmeksizin Cloud Storage, hem Earth Engine hem de harici iş akışları için tek doğruluk kaynağı olarak hizmet verir.
- Veri denetimleri ve çıkışı: Verilerin Cloud Storage'da depolanması, standart nesne depolama yönetimi özellikleri sağlar. Bu sayede, Ödeyen İstek Sahibi veya herkese açık paketler gibi Cloud Storage özelliklerini kullanarak verilerinizi indirebilir, taşıyabilir ya da paylaşabilir ve standart Cloud IAM'i kullanarak erişimi yönetebilirsiniz.
- Esnek ölçeklendirme: Earth Engine depolama alanı sınırlarından kaçının. Cloud Storage, petabayt ölçeğinde neredeyse sınırsız, self servis depolama alanı ölçeklendirmesi sunar.
- Veri besleme için bekleme süresi yoktur: Earth Engine, dizine ekleme ve doğrulama için yalnızca dosya başlığındaki meta verileri (ör. projeksiyon ve boyutlar) okuduğundan COG kaydı hızlı bir şekilde tamamlanır. Gerçek piksel verileri Cloud Storage'da kalır ve hesaplama sırasında isteğe bağlı olarak okunur. Bu sayede ayrı bir alım görevine gerek kalmaz.
Earth Engine'deki COG iş akışları
Earth Engine, Cloud Storage'da COG'larla çift yönlü iş akışlarını destekler: COG'ları doğrudan GCS'den Earth Engine'e okuyabilir ve hesaplama sonuçlarını Earth Engine'den doğrudan GCS'ye COG olarak yazabilirsiniz.
Cloud Storage'dan COG'leri okuma
GCS'de barındırılan COG'leri Earth Engine'e aktarmak için iki seçeneğiniz vardır:
Doğrudan yükleme (
ee.Image.loadGeoTIFF): GCS URI'sini kullanarak tek bir resmi doğrudan yükleyin. Bu yöntem; hızlı testler, anlık analizler veya geçici veriler için en uygun seçenektir:JavaScript
var image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif');Python
image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif')Eksiksiz örnekler için Cloud GeoTIFF'lerden görüntüler başlıklı makaleyi inceleyin.
Kayıtlı öğeler: Bir yükleme manifesti kullanarak bir veya daha fazla COG'yi Earth Engine öğesi olarak kaydedin (COG kayıt kılavuzuna bakın). Bu, özellikle görüntü koleksiyonları oluştururken üretim iş akışları için önerilen yoldur.
| Özellik | Doğrudan yükleme (loadGeoTIFF) |
Kayıtlı öğe (manifest) |
|---|---|---|
| Ayarlar | Yok (yalnızca GCS URI'si) | Manifest (Python istemcisi, CLI veya REST) |
| Performans | Standart (okuma sırasında başlığı okur) | Optimize edilmiş (oluşturulurken dizine eklenir) |
| Yönetim | Öğe oluşturulmadı | Depolama alanı kotasından değil, öğe sayısı kotasından düşülür. |
| Kullanım alanı | Prototip oluşturma, özel analiz | Hızlı okuma gerektiren üretim iş akışları. |
Cloud Storage'a COG yazma
Earth Engine hesaplama sonuçlarını Cloud Storage paketinizde COG olarak kaydetmek için Export.image.toCloudStorage toplu dışa aktarma işlevini kullanın (resimleri dışa aktarma bölümüne bakın) ve formatOptions içinde cloudOptimized parametresini true olarak ayarlayın. Bu komut, Earth Engine'e görüntüyü derlemesini ve tam uyumlu bir COG olarak doğrudan GCS paketinize yazmasını söyler.
Desteklenen Cloud Storage paketi konumları
Earth Engine'in Cloud Storage paketinize erişebilmesi için paketin aşağıdaki veri merkezi bölgelerinden veya çoklu bölgelerden birinde bulunması gerekir:
usçok bölgelius-central1içeren herhangi bir ABD çift bölgesius-central1bölgesi
Paketiniz başka bir bölgesel veri merkezine yerleştirilirse Earth Engine, kayıt ve okuma isteklerini reddeder. Earth Engine, yalnızca Google Cloud Storage paketlerinde depolanan COG'lara erişir. Harici bulut depolama alanı sağlayıcıları ve genel HTTP URL'leri desteklenmez.
Maliyetle ilgili dikkat edilmesi gereken noktalar ve depolama sınıfları
Kayıtlı COG öğelerini analiz ederken Earth Engine'den yapılan okuma işlemleri, Google Cloud projenizde Cloud Storage okuma işlemi veya veri alma ücretlerine tabi olmaz.
Cloud Storage, öncelikle standart aylık beklemedeki veri depolama alanı (GB/ay) ve harici istemci veri aktarımı veya ağ çıkışı ücretleri (paket konumunuza ve istemci ağ yapılandırmanıza bağlı olarak) için faturalandırır.
Depolama sınıfı önerileri
- Standart depolama alanı (önerilir): Standart depolama alanı, etkin Earth Engine iş akışları için en uygun seçenektir. Minimum depolama süresi kuralı olmadığı için geçici COG'ların üzerine yazabilir, bunları güncelleyebilir veya silebilirsiniz. Bu işlemler için erken silme cezası uygulanmaz. Ayrıca, siz veya ortak çalışanlarınız pakete masaüstü CBS yazılımı, GDAL komut dosyaları veya Earth Engine dışındaki makine öğrenimi not defterlerini kullanarak erişirseniz Standart depolama alanında perakende erişim ek ücreti alınmaz.
- Nearline, Coldline ve Archive Storage: Tüm Cloud Storage sınıfları, Standard Storage ile aynı düşük gecikmeli erişimi ve işleme hızını sağlar. Bu nedenle, Earth Engine'de daha soğuk depolama katmanları kullanılırken okuma performansında herhangi bir düşüş yaşanmaz. Earth Engine hesaplamaları, perakende veri alma ücretleri değerlendirilmeden bu katmanları da okuyabilir ancak Cloud Storage perakende kuralları, katı minimum depolama süreleri (Nearline için 30 gün, Coldline için 90 gün, Archive için 365 gün) uygular. Dosyaları minimum süreleri dolmadan önce değiştirmek veya silmek, erken silme ek ücretlerine neden olur. Ayrıca, herhangi bir harici istemci aracından soğuk nesnelere erişmek, maliyetli veri alma ek ücretlerine neden olur.
Ayrıntılı perakende fiyatlandırması ve minimum süre politikaları için Google Cloud Storage Fiyatlandırma Kılavuzu'na bakın.
Üst düzey iş akışı
Earth Engine'da COG'leri kullanmaya yönelik tipik iş akışları aşağıdaki adımları içerir:
Harici verileri içe aktarmak için:
- Optimize etme: Harici araçları (ör. GDAL, yerel iş istasyonu komut dosyaları veya bulut işleme ardışık düzenleri) kullanarak raster dosyalarınızı COG biçimine dönüştürün.
- Yükleme: COG'ları
us-central1veya ABD'deki çoklu bölgede bulunan desteklenen bir Cloud Storage paketine yükleyin. - İzinler: Sizin ve proje ortak çalışanlarının dosyalara Cloud Storage okuma erişiminizin olduğundan emin olun (COG izinleri bölümüne bakın).
- Kaydolun: COG'ları Earth Engine varlıkları olarak kaydetmek için Python istemci kitaplığını,
earthenginekomut satırı aracını veya REST API'yi kullanın (bkz. COG kaydı).
Sonuçları dışa aktarmak için:
- Dışa aktarma: Earth Engine'den Cloud Storage'a toplu dışa aktarma işlemi çalıştırın.
cloudOptimized,trueolarak ayarlanmalıdır (Görüntüleri dışa aktarma başlıklı makaleyi inceleyin). - Kaydetme (isteğe bağlı): Dışa aktarılan COG'yi daha fazla analiz için yeni bir öğe olarak Earth Engine'e geri kaydedin (bkz. COG kaydı).
Başlamaya hazır mısınız? İlk öğenizi kaydetmek için ayrıntılı COG kayıt kılavuzunu inceleyin.