Cloud Optimized GeoTIFF (COG) di Earth Engine

Google Earth Engine memungkinkan Anda menggunakan data raster yang disimpan di bucket Google Cloud Storage (GCS) Anda sendiri. Dengan menggunakan Cloud Optimized GeoTIFF (COG), Anda dapat mengakses dan menganalisis data secara langsung di Earth Engine tanpa harus menyerap piksel ke penyimpanan aset Earth Engine.

Pendekatan berbasis cloud ini menawarkan beberapa manfaat, terutama untuk mengelola set data besar atau mengintegrasikan Earth Engine ke dalam alur kerja Google Cloud yang lebih luas atau alat dan platform eksternal.

Mengapa menggunakan Cloud Storage dan COG?

• Fleksibilitas dan interoperabilitas: Simpan data Anda di bucket Cloud Storage standar yang dapat diakses oleh alat dan layanan lain. Baik Anda mengupload data secara langsung maupun mengekspornya dari Earth Engine, Cloud Storage berfungsi sebagai satu sumber tepercaya untuk Earth Engine dan alur kerja eksternal.
• Kontrol dan keluar data: Menyimpan data di Cloud Storage memberikan kemampuan pengelolaan penyimpanan objek standar. Dengan begitu, Anda dapat mendownload, memigrasikan, atau membagikan data menggunakan fitur Cloud Storage seperti Pemohon Membayar atau bucket publik, serta mengelola akses menggunakan Cloud IAM standar.
• Penskalaan fleksibel: Hindari batas penyimpanan Earth Engine. Cloud Storage menyediakan penskalaan penyimpanan mandiri yang hampir tak terbatas hingga skala petabyte.
• Tidak ada penundaan penyerapan: Pendaftaran COG selesai dengan cepat karena Earth Engine hanya membaca metadata (seperti proyeksi dan dimensi) dari header file untuk pengindeksan dan validasi. Data piksel yang sebenarnya tetap berada di Cloud Storage dan dibaca on-demand selama komputasi, sehingga tidak memerlukan tugas penyerapan terpisah.

Catatan tentang biaya: Untuk pengguna nonkomersial, penyimpanan aset Earth Engine (meskipun terbatas) tersedia tanpa biaya. Penggunaan Cloud Storage akan dikenai biaya penyimpanan dan transfer data standar.

Alur kerja COG di Earth Engine

Earth Engine mendukung alur kerja dua arah dengan COG di Cloud Storage: Anda dapat membaca COG langsung dari GCS ke Earth Engine, dan Anda dapat menulis hasil komputasi dari Earth Engine langsung ke GCS sebagai COG.

Membaca COG dari Cloud Storage

Untuk memasukkan COG yang dihosting GCS ke Earth Engine, Anda memiliki dua opsi:

1. Pemuatan langsung (ee.Image.loadGeoTIFF): Memuat satu gambar secara langsung menggunakan URI GCS-nya. Opsi ini paling cocok untuk pengujian cepat, analisis ad hoc, atau data sementara:

   JavaScript

   var image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif');
   

   Python

   image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif')
   

   Untuk contoh lengkap, lihat gambar dari Cloud GeoTIFF.

2. Aset terdaftar: Daftarkan satu atau beberapa COG sebagai aset Earth Engine menggunakan manifes upload (lihat panduan pendaftaran COG). Ini adalah jalur yang direkomendasikan untuk alur kerja produksi, terutama saat membangun koleksi image.

Fitur	Pemuatan langsung (loadGeoTIFF)	Aset terdaftar (manifes)
Penyiapan	Tidak ada (hanya URI GCS)	Manifest (klien Python, CLI, atau REST)
Performa	Standar (membaca header saat dibaca)	Dioptimalkan (diindeks saat pembuatan)
Pengelolaan	Tidak ada aset yang dibuat	Mengurangi kuota jumlah aset, bukan penyimpanan.
Kasus penggunaan	Pembuatan prototipe, analisis ad hoc	Alur kerja produksi yang memerlukan pembacaan cepat.

Menulis COG ke Cloud Storage

Untuk menyimpan hasil komputasi Earth Engine sebagai COG di bucket Cloud Storage, gunakan fungsi ekspor batch Export.image.toCloudStorage (lihat mengekspor gambar) dan tetapkan parameter cloudOptimized ke true di formatOptions. Tindakan ini akan memberi tahu Earth Engine untuk mengompilasi gambar dan menulisnya langsung ke bucket GCS Anda sebagai COG yang sepenuhnya sesuai.

Lokasi bucket Cloud Storage yang didukung

Agar Earth Engine dapat mengakses bucket Cloud Storage Anda, bucket tersebut harus berada di salah satu region atau multi-region pusat data berikut:

• Multi-region us
• Dual-region AS mana pun yang mencakup us-central1
• Region us-central1

Jika bucket Anda ditempatkan di pusat data regional lainnya, Earth Engine akan menolak pendaftaran dan permintaan baca. Earth Engine mengakses COG yang disimpan secara eksklusif di bucket Google Cloud Storage. Penyedia penyimpanan cloud eksternal dan URL HTTP generik tidak didukung.

Pertimbangan biaya dan kelas penyimpanan

Saat menganalisis aset COG terdaftar, pembacaan dari Earth Engine tidak dikenai biaya operasi baca Cloud Storage atau pengambilan data di project Google Cloud Anda.

Anda ditagih oleh Cloud Storage terutama untuk penyimpanan data dalam keadaan tidak aktif bulanan standar (GB/bulan) dan biaya transfer data klien eksternal atau traffic keluar jaringan (bergantung pada lokasi bucket dan konfigurasi jaringan klien Anda).

Rekomendasi kelas penyimpanan

• Penyimpanan standar (direkomendasikan): Penyimpanan standar paling cocok untuk alur kerja Earth Engine yang aktif. Karena tidak memiliki aturan durasi penyimpanan minimum, Anda dapat dengan bebas menimpa, memperbarui, atau menghapus COG sementara tanpa dikenai penalti penghapusan awal. Selain itu, jika Anda atau kolaborator Anda mengakses bucket menggunakan software GIS desktop, skrip GDAL, atau notebook machine learning di luar Earth Engine, Standard Storage tidak akan dikenai biaya tambahan pengambilan retail.
• Nearline, Coldline, dan Archive Storage: Semua kelas Cloud Storage menyediakan akses dan throughput latensi rendah yang sama dengan Standard Storage, sehingga tidak ada penalti performa baca saat menggunakan tingkat penyimpanan yang lebih dingin di Earth Engine. Meskipun komputasi Earth Engine juga dapat membaca tingkat ini tanpa mengenakan biaya pengambilan data retail, aturan retail Cloud Storage menerapkan durasi penyimpanan minimum yang ketat (30 hari untuk Nearline, 90 hari untuk Coldline, 365 hari untuk Archive). Mengubah atau menghapus file sebelum durasi minimumnya memicu biaya tambahan penghapusan awal. Selain itu, mengakses objek dingin dari alat klien eksternal apa pun akan dikenai biaya tambahan pengambilan data yang mahal.

Penting: Karena Earth Engine mengkueri data ubin spasial secara efisien sesuai permintaan selama eksekusi tanpa menilai biaya tambahan pengambilan GCS per penerusan, COG memberikan penganggaran penyimpanan bulanan yang sangat dapat diprediksi bahkan untuk algoritma multi-penerusan yang kompleks.

Untuk mengetahui detail harga retail dan kebijakan durasi minimum, lihat Panduan Harga Google Cloud Storage.

Alur kerja tingkat tinggi

Alur kerja umum untuk menggunakan COG di Earth Engine melibatkan langkah-langkah berikut:

Untuk mengimpor data eksternal:

• Optimalkan: Konversikan file raster Anda ke format COG menggunakan alat eksternal (seperti GDAL, skrip workstation lokal, atau pipeline pemrosesan cloud).
• Upload: Upload COG ke bucket Cloud Storage yang didukung yang terletak di us-central1 atau multi-region AS.
• Izin: Pastikan Anda dan kolaborator project memiliki akses baca Cloud Storage ke file (lihat izin COG).
• Daftar: Gunakan library klien Python, alat command line earthengine, atau REST API untuk mendaftarkan COG sebagai aset Earth Engine (lihat Pendaftaran COG).

Untuk mengekspor hasil:

• Ekspor: Jalankan ekspor batch dari Earth Engine ke Cloud Storage dengan cloudOptimized ditetapkan ke true (lihat mengekspor gambar).
• Daftarkan (opsional): Daftarkan COG yang diekspor kembali ke Earth Engine sebagai aset baru untuk analisis lebih lanjut (lihat pendaftaran COG).

Siap untuk memulai? Ikuti panduan pendaftaran COG yang mendetail untuk mendaftarkan aset pertama Anda.