تتيح لك خدمة Google Earth Engine العمل مع بيانات نقطية مخزَّنة في حزم Google Cloud Storage (GCS) الخاصة بك. باستخدام ملفات Cloud Optimized GeoTIFFs (COGs)، يمكنك الوصول إلى بياناتك وتحليلها مباشرةً في Earth Engine بدون الحاجة إلى نقل وحدات البكسل إلى متجر مواد العرض في Earth Engine.
يوفّر هذا النهج معتمِد على السحابة الإلكترونية أولاً عدة مزايا، خاصةً لإدارة مجموعات البيانات الكبيرة أو دمج Earth Engine في مهام سير عمل Google Cloud الأوسع أو الأدوات والمنصات الخارجية.
مزايا استخدام Cloud Storage وملفات COGs
- المرونة وقابلية التشغيل التفاعلي: يمكنك الاحتفاظ ببياناتك في حزم Cloud Storage العادية التي يمكن للأدوات والخدمات الأخرى الوصول إليها. سواء حمّلت البيانات مباشرةً أو صدّرتها من Earth Engine، تعمل Cloud Storage كمصدر وحيد للحقيقة لكلّ من Earth Engine ومهام سير العمل الخارجية.
- التحكّم في البيانات ونقلها: يوفّر تخزين البيانات في Cloud Storage إمكانات إدارة تخزين العناصر العادية. يتيح لك ذلك تنزيل بياناتك أو نقلها أو مشاركتها باستخدام ميزات Cloud Storage، مثل الدفع من قِبل مقدّم الطلب أو الحزم العلنية، وإدارة الوصول باستخدام Cloud IAM العادي.
- التوسّع المر1ن: يمكنك تجنُّب حدود التخزين في Earth Engine . توفّر Cloud Storage توسّعًا غير محدود تقريبًا للتخزين بالخدمة الذاتية على نطاق البيتابايت.
- لا حاجة إلى الانتظار لنقل البيانات: يكتمل تسجيل ملف COG بسرعة لأنّ Earth Engine يقرأ البيانات الوصفية فقط (مثل الإسقاط والأبعاد) من رأس الملف لأغراض الفهرسة والتحقّق من الصحة. تبقى بيانات البكسل الفعلية في Cloud Storage ويتم قراءتها عند الطلب أثناء عملية الحساب، ما يزيل الحاجة إلى مهمة نقل منفصلة.
مهام سير عمل ملفات COGs في Earth Engine
تتوافق Earth Engine مع مهام سير العمل الثنائية الاتجاه مع ملفات COGs على Cloud Storage: يمكنك قراءة ملفات COGs مباشرةً من GCS إلى Earth Engine، ويمكنك كتابة نتائج الحساب من Earth Engine مباشرةً إلى GCS كملفات COGs.
قراءة ملفات COGs من Cloud Storage
لإضافة ملفات COGs المستضافة على GCS إلى Earth Engine، لديك خياران:
التحميل المباشر (
ee.Image.loadGeoTIFF): يمكنك تحميل صورة واحدة مباشرةً باستخدام معرّف الموارد المنتظم (URI) الخاص بها على GCS. هذا الخيار هو الأفضل لإجراء اختبارات سريعة أو تحليلات مخصّصة أو بيانات مؤقتة:JavaScript
var image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif');Python
image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif')للاطّلاع على أمثلة كاملة، راجِع الصور من Cloud GeoTIFFs.
مواد العرض المسجَّلة: يمكنك تسجيل ملف COG واحد أو أكثر كمادة عرض في Earth Engine باستخدام بيان تحميل (راجِع دليل تسجيل ملفات COG). هذا هو المسار المقترَح لمهام سير العمل الخاصة بالإنتاج، خاصةً عند إنشاء مجموعات صور.
| الميزة | التحميل المباشر (loadGeoTIFF) |
مادة العرض المسجَّلة (البيان) |
|---|---|---|
| الإعداد | لا شيء (معرّف الموارد المنتظم (URI) على GCS فقط) | البيان (برنامج Python، أو واجهة سطر الأوامر، أو واجهة REST) |
| الأداء | عادي (يقرأ الرأس عند القراءة) | محسَّن (مفهرس عند الإنشاء) |
| الإدارة | لم يتم إنشاء أي مادة عرض | يتم احتسابها ضمن الحصة المسموح بها لعدد مواد العرض، وليس مساحة التخزين. |
| حالة الاستخدام | وضع النماذج الأولية، والتحليل المخصّص | مهام سير العمل الخاصة بالإنتاج التي تتطلّب عمليات قراءة سريعة. |
كتابة ملفات COGs إلى Cloud Storage
لحفظ نتائج الحساب في Earth Engine كملفات COGs في حزمة Cloud Storage،
استخدِم
Export.image.toCloudStorage
دالة التصدير المجمّع (راجِع تصدير
الصور) واضبط
المَعلمة cloudOptimized على true في formatOptions. يطلب ذلك من Earth Engine تجميع الصورة وكتابتها مباشرةً إلى حزمة GCS كملف COG متوافق تمامًا.
مواقع حزم Cloud Storage المتوافقة
لكي يتمكّن Earth Engine من الوصول إلى حزمة Cloud Storage، يجب أن تكون الحزمة في إحدى مناطق مركز البيانات أو المناطق المتعدّدة التالية:
- المنطقة المتعدّدة
us - أي منطقة مزدوجة في الولايات المتحدة تتضمّن
us-central1 - المنطقة
us-central1
إذا تم وضع حزمتك في أي مركز بيانات إقليمي آخر، سيرفض Earth Engine طلبات التسجيل والقراءة. يصل Earth Engine إلى ملفات COGs المخزَّنة حصريًا في حزم Google Cloud Storage. لا تتوافق الخدمة مع موفّري التخزين الخارجي في السحابة الإلكترونية وعناوين URL العامة لبروتوكول HTTP.
اعتبارات التكلفة وفئات التخزين
عند تحليل مواد عرض COG المسجَّلة، لا يتم تحصيل رسوم عمليات القراءة من Cloud Storage أو استرجاع البيانات من Earth Engine في مشروعك على Google Cloud.
تفرض Cloud Storage رسومًا عليك بشكل أساسي مقابل تخزين البيانات العادية غير النشطة شهريًا (غيغابايت/شهر) وأي رسوم لنقل بيانات العميل الخارجية أو رسوم نقل البيانات على الشبكة (اعتمادًا على موقع حزمتك وإعدادات شبكة العميل).
اقتراحات فئات التخزين
- التخزين العادي (مقترَح): التخزين العادي هو الأنسب لمهام سير عمل Earth Engine النشطة. بما أنّه لا يتضمّن قواعد بشأن الحد الأدنى لمدة التخزين، يمكنك بحرية الكتابة فوق ملفات COGs المؤقتة أو تعديلها أو حذفها بدون تكبّد عقوبات الحذف المبكر. علاوةً على ذلك، إذا وصلت أنت أو المتعاونون معك إلى الحزمة باستخدام برامج نظم المعلومات الجغرافية (GIS) على سطح المكتب أو نصوص GDAL البرمجية أو دفاتر تعلّم الآلة خارج Earth Engine، لا يتم تحصيل أي رسوم إضافية من التجزئة مقابل استرجاع البيانات من التخزين العادي.
- Nearline وColdline وArchive Storage: توفّر جميع فئات Cloud Storage إمكانية الوصول والإنتاجية نفسها التي يوفّرها التخزين العادي مع وقت استجابة منخفض، لذا لا توجد عقوبة على أداء القراءة عند استخدام مستويات التخزين الباردة في Earth Engine. على الرغم من أنّ عمليات الحساب في Earth Engine يمكنها أيضًا قراءة هذه المستويات بدون فرض رسوم استرجاع بيانات التجزئة، فإنّ قواعد التجزئة في Cloud Storage تفرض حدًا أدنى صارمًا لمدة التخزين (30 يومًا لفئة Nearline، و90 يومًا لفئة Coldline، و365 يومًا لفئة Archive). يؤدي تعديل الملفات أو حذفها قبل الحد الأدنى لمدة التخزين إلى فرض رسوم إضافية للحذف المبكر. بالإضافة إلى ذلك، يؤدي الوصول إلى العناصر الباردة من أي أداة عميل خارجية إلى فرض رسوم إضافية باهظة الثمن لاسترجاع البيانات.
للاطّلاع على تفاصيل أسعار التجزئة وسياسات الحد الأدنى لمدة التخزين، راجِع الـ دليل أسعار Google Cloud Storage.
سير العمل العالي المستوى
تتضمّن مهام سير العمل النموذجية لاستخدام ملفات COGs في Earth Engine الخطوات التالية:
لاستيراد البيانات الخارجية:
- التحسين: يمكنك تحويل ملفات النقطية إلى تنسيق COG باستخدام أدوات خارجية (مثل GDAL أو النصوص البرمجية لمحطة العمل المحلية أو مسارات المعالجة في السحابة الإلكترونية).
- التحميل: يمكنك تحميل ملفات COGs إلى حزمة Cloud Storage متوافقة تقع في
us-central1أو منطقة متعدّدة في الولايات المتحدة. - الأذونات: تأكَّد من أنّك وأي متعاونين في المشروع لديهم إذن قراءة ملفات COGs من Cloud Storage (راجِع أذونات ملفات COG).
- التسجيل: استخدِم مكتبة برامج Python أو أداة سطر الأوامر
earthengineأو واجهة برمجة تطبيقات REST لتسجيل ملفات COGs كمواد عرض في Earth Engine (راجِع تسجيل ملفات COG).
لتصدير النتائج:
- التصدير: يمكنك إجراء عملية تصدير مجمّع من Earth Engine إلى Cloud Storage مع
cloudOptimizedمضبوطة علىtrue(راجِع تصدير الصور). - التسجيل (اختياري): يمكنك تسجيل ملف COG الذي تم تصديره مرة أخرى في Earth Engine كـ مادة عرض جديدة لإجراء المزيد من التحليلات (راجِع تسجيل ملفات COG).
هل أنت مستعد للبدء؟ اتّبِع دليل تسجيل ملفات COG المفصّل لتسجيل مادة العرض الأولى.