ملفات GeoTIFF المحسّنة للسحابة الإلكترونية (COGs) في Earth Engine

يتيح لك Google Earth Engine العمل مع البيانات النقطية المخزَّنة في حِزم Google Cloud Storage (GCS) الخاصة بك. باستخدام ملفات GeoTIFF المحسّنة للسحابة الإلكترونية (COG)، يمكنك الوصول إلى بياناتك وتحليلها مباشرةً في Earth Engine بدون الحاجة إلى استيعاب وحدات البكسل في مستودع الأصول في Earth Engine.

يوفّر هذا النهج المعتمد على السحابة الإلكترونية أولاً العديد من المزايا، خاصةً لإدارة مجموعات البيانات الكبيرة أو دمج Earth Engine في مهام Google Cloud الأوسع نطاقًا أو الأدوات والمنصات الخارجية.

مزايا استخدام Cloud Storage وCOGs

• المرونة وإمكانية التشغيل التفاعلي: يمكنك الاحتفاظ ببياناتك في حِزم Cloud Storage العادية حيث يمكن الوصول إليها من خلال أدوات وخدمات أخرى. سواء حمّلت البيانات مباشرةً أو صدّرتها من Earth Engine، يشكّل Cloud Storage مصدرًا واحدًا لحقائق كلّ من Earth Engine وسير العمل الخارجي.
• التحكّم في البيانات ونقلها: يوفّر تخزين البيانات في Cloud Storage إمكانات إدارة تخزين العناصر العادية. يتيح لك ذلك تنزيل بياناتك أو نقلها أو مشاركتها باستخدام ميزات Cloud Storage، مثل Requester Pays أو الحِزم المتاحة للجميع، وإدارة إذن الوصول باستخدام Cloud IAM العادي.
• توسيع نطاق مرن: تجنُّب حدود مساحة التخزين في Earth Engine توفّر خدمة Cloud Storage مساحة تخزين غير محدودة تقريبًا وقابلة للتوسيع ذاتيًا لتصل إلى مقياس بيتابايت.
• عدم الانتظار حتى اكتمال عملية نقل البيانات: يكتمل تسجيل ملف COG بسرعة لأنّ Earth Engine يقرأ فقط البيانات الوصفية (مثل الإسقاط والأبعاد) من عنوان الملف للفهرسة والتحقّق من الصحة. تبقى بيانات وحدات البكسل الفعلية في Cloud Storage وتتم قراءتها عند الطلب أثناء عملية الحوسبة، ما يلغي الحاجة إلى مهمة نقل منفصلة.

ملاحظة بشأن التكاليف: تتوفّر مساحة تخزين مواد العرض في Earth Engine (على الرغم من أنّها محدودة) بدون أي تكلفة للمستخدمين غير التجاريين. سيتم تحصيل رسوم التخزين ونقل البيانات العادية عند استخدام Cloud Storage.

سير عمل COG في Earth Engine

يتيح Earth Engine سير العمل ثنائي الاتجاه مع COG على Cloud Storage: يمكنك قراءة COG مباشرةً من GCS إلى Earth Engine، ويمكنك كتابة نتائج العمليات الحسابية من Earth Engine مباشرةً إلى GCS كـ COG.

قراءة ملفات COG من Cloud Storage

لنقل ملفات COG المستضافة على "خدمة التخزين السحابي من Google" إلى Earth Engine، يتوفّر لك خياران:

1. التحميل المباشر (ee.Image.loadGeoTIFF): يمكنك تحميل صورة واحدة مباشرةً باستخدام معرّف الموارد المنتظم (URI) الخاص بها في Google Cloud Storage. هذا الخيار هو الأفضل لإجراء اختبارات سريعة أو تحليلات مخصّصة أو استخدام بيانات مؤقتة:

   JavaScript

   var image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif');
   

   Python

   image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif')
   

   للاطّلاع على أمثلة كاملة، يُرجى الانتقال إلى صور من ملفات Cloud GeoTIFF.

2. مواد العرض المسجَّلة: يمكنك تسجيل ملف COG واحد أو أكثر كمادة عرض في Earth Engine باستخدام بيان تحميل (يُرجى الاطّلاع على دليل تسجيل ملفات COG). هذا هو المسار المقترَح لمهام سير العمل في مرحلة الإنتاج، خاصةً عند إنشاء مجموعات صور.

الميزة	التحميل المباشر (loadGeoTIFF)	مادة العرض المسجَّلة (بيان)
الإعداد	لا شيء (معرّف الموارد المنتظم (URI) الخاص بنظام GCS فقط)	ملف البيان (برنامج Python أو واجهة سطر الأوامر أو REST)
الأداء	عادي (يقرأ العنوان عند القراءة)	محسَّن (مفهرس عند الإنشاء)
الإدارة	لم يتم إنشاء أي مادة عرض	يتم احتسابها ضمن حصة عدد مواد العرض، وليس مساحة التخزين.
حالة الاستخدام	إنشاء نماذج أولية، والتحليل المخصّص	مهام سير العمل الإنتاجية التي تتطلّب عمليات قراءة سريعة

كتابة ملفات COG في Cloud Storage

لحفظ نتائج العمليات الحسابية في Earth Engine كملفات COG في حزمة Cloud Storage، استخدِم دالة التصدير المجمّع Export.image.toCloudStorage (راجِع تصدير الصور) واضبط المَعلمة cloudOptimized على true في formatOptions. يطلب هذا الرمز من Earth Engine تجميع الصورة وكتابتها مباشرةً في حزمة GCS كملف COG متوافق تمامًا.

المواقع الجغرافية المتوافقة لحِزم Cloud Storage

لكي يتمكّن Earth Engine من الوصول إلى حزمة Cloud Storage، يجب أن تكون الحزمة موجودة في إحدى مناطق مراكز البيانات أو المناطق المتعدّدة التالية:

• منطقة us المتعددة
• أي منطقة ثنائية في الولايات المتحدة تتضمّن us-central1
• منطقة us-central1

إذا تم وضع الحزمة في أي مركز بيانات إقليمي آخر، سترفض Earth Engine طلبات التسجيل والقراءة. يصل Earth Engine إلى ملفات COG المخزّنة حصريًا في حِزم Google Cloud Storage. لا تتوفّر إمكانية استخدام هذه الميزة مع مقدّمي خدمات التخزين السحابي الخارجيين وعناوين URL العامة الخاصة ببروتوكول HTTP.

مواصفات تصدير COG في Earth Engine

عند تصدير النتائج التحليلية من Earth Engine باستخدام Export.image.toCloudStorage مع cloudOptimized: true في formatOptions، تطبّق أداة التصدير المضمّنة في Earth Engine المعايير التالية تلقائيًا:

• بنية الملف: يتم إنشاء ملف BigTIFF (BIGTIFF=YES) مع تقسيم داخلي (TILED=YES) ونسخ جميع النظرات العامة إلى بداية الملف.
• الملخّصات التلقائية: إذا كانت أبعاد التنقيط الناتجة تبلغ 512×512 بكسل أو أكبر، ينشئ محرّك Earth Engine تلقائيًا خمسة مستويات من الملخّصات التي تبلغ قيمتها اثنين ([2, 4, 8, 16, 32]). يختار محرّك Earth Engine ديناميكيًا طريقة إعادة أخذ عينات الملخّص استنادًا إلى نوع بيانات البكسل الناتجة: إعادة أخذ عينات مكعّبة للصور ذات النقاط العائمة وإعادة أخذ عينات أقرب جار لجميع الصور الصحيحة أو المنفصلة الأخرى.
• الضغط والتجزئة التلقائيان: يصدّر Earth Engine ملفات COG مع تجزئة مربّعات البكسل بحجم 256 × 256 وضغط LZW (COMPRESS=LZW). لا يمكن تخصيص أبعاد الضغط والتجزئة في formatOptions.
• التقسيم التلقائي: إذا كان حجم الصورة النقطية التي تم تصديرها كبيرًا (يتجاوز 4 غيغابايت غير مضغوطة)، تقسم Earth Engine عملية التصدير تلقائيًا إلى عدة مربعات مكانية باسم baseFilename-yMin-xMin (راجِع عمليات تصدير الملفات الكبيرة).
• تجاوز حدود التقسيم: لتصدير صور نقطية كبيرة (يصل حجمها إلى 16 غيغابايت كحد أقصى غير مضغوطة و131,072 بكسل لكل حافة) كملف واحد بدون تقسيم، حدِّد fileDimensions داخل formatOptions. يجب أن تكون كل سمة عددًا صحيحًا موجبًا من مضاعفات حجم المربّع (256 تلقائيًا، على سبيل المثال، [65536, 65536]). وبما أنّ fileDimensions يضبط الحد الأقصى لسمة الملف بدلاً من مربّع الإحاطة الناتج، فإنّ تمرير حد أقصى كبير يفرض التصدير إلى ملف واحد بدون الحاجة إلى حسابات دقيقة للشبكة. يمكنك أيضًا تمرير skipEmptyFiles: true لمنع إنشاء مربّعات خلفية فارغة.
• الموازنة بين التحسينات: عند ضبط عمليات التصدير الكبيرة، يجب الموازنة بين عدد الملفات وسرعة التصدير. يؤدي تحديد قيم أصغر لـ fileDimensions أو shardSize إلى إنشاء المزيد من أجزاء الملفات، ولكنه يزيد من المعالجة المتوازية عبر العمال في الخلفية، مما يؤدي إلى أوقات إكمال تصدير أسرع. في المقابل، يؤدي تجاهل الحدود لإنشاء ملف واحد كبير إلى تبسيط إدارة الملفات ومشاركة البيانات، ولكن يمكن أن يؤدي إلى زيادة أوقات تنفيذ التصدير بسبب تجميع الملفات الفردية واختناقات الإدخال والإخراج. قد تتجاوز عمليات تصدير COG الكبيرة جدًا لملف واحد والتي تقترب من الحد الأقصى غير المضغوط البالغ 16 غيبي بايت (خاصةً الصور التي لا يتم ضغطها بشكل جيد) سعة التخزين المؤقتة أثناء النظرة العامة وتجميع COG. إذا تعذّر التصدير، ننصحك بتقسيم الملفات إلى ملفات أصغر أو تحويل عملية تصدير GeoTIFF عادية خارجيًا.

تخصيص إنشاء COG خارج Earth Engine

على الرغم من أنّ التصدير مباشرةً باستخدام cloudOptimized: true هو أبسط طريقة لإنشاء ملفات COG جاهزة للاستخدام في معظم عمليات سير العمل، يمكنك أيضًا تصدير ملف GeoTIFF عادي (cloudOptimized: false، الإعداد التلقائي) وتحويله إلى ملف COG بنفسك باستخدام أدوات خارجية مثل GDAL. يمكن أن يكون سير عمل التصدير والتحويل المكوّن من خطوتين مفيدًا عندما تحتاج إلى:

• تخصيص الضغط والتنسيق: يمكنك تخصيص أحجام الوحدات (مثل 512x512) أو أدوات التوقّع أو طرق إعادة أخذ عينات النظرة العامة أو برامج ترميز الضغط (مثل ZSTD) لمجموعة بياناتك (يُرجى الاطّلاع على إعداد ملفات COG).
• تجنُّب أخطاء السعة عند تصدير ملفات فردية ضخمة: من خلال تخطّي إنشاء النظرة العامة وإعادة كتابة تنسيق COG أثناء التصدير، يتم تقليل عبء الذاكرة والتخزين المؤقت، ما يقلّل من احتمال تجاوز حدود السعة عند تصدير ملفات فردية كبيرة جدًا.
• تقليل وقت تنفيذ عملية التصدير في Earth Engine: يؤدي نقل عملية إنشاء النظرة العامة وتنسيق COG إلى بيئة الحوسبة الخاصة بك إلى تقليل وقت مرحلة التصدير في Earth Engine.

اعتبارات التكلفة وفئات التخزين

عند تحليل مواد عرض COG المسجّلة، لا تتكبّد عمليات القراءة من Earth Engine أي رسوم على عمليات القراءة من Cloud Storage أو استرجاع البيانات في مشروعك على Google Cloud.

يتم تحصيل رسوم منك من خلال Cloud Storage بشكل أساسي مقابل تخزين البيانات غير النشطة (غيغابايت/شهر) شهريًا، وأي رسوم لنقل بيانات العميل الخارجية أو رسوم خروج الشبكة (حسب موقع الحزمة وإعدادات شبكة العميل).

اقتراحات بشأن فئة مساحة التخزين

• مساحة التخزين العادية (يُنصح بها): تُعدّ مساحة التخزين العادية الأنسب لسير العمل النشط في Earth Engine. ونظرًا لعدم وجود قواعد للحد الأدنى لمدة التخزين، يمكنك استبدال COGs المؤقتة أو تحديثها أو حذفها بحرية بدون تحمُّل غرامات الحذف المبكر. بالإضافة إلى ذلك، إذا كنت أنت أو المتعاونون معك تصلون إلى حزمة البيانات باستخدام برامج نظم المعلومات الجغرافية (GIS) على أجهزة الكمبيوتر المكتبي أو نصوص GDAL البرمجية أو دفاتر ملاحظات تعلُّم الآلة خارج Earth Engine، لن يتم فرض أي رسوم إضافية على استرداد البيانات من وحدة التخزين العادية.
• فئات التخزين Nearline وColdline وArchive: توفّر جميع فئات Cloud Storage الوصول نفسه بزمن انتقال منخفض ومعدّل نقل البيانات نفسه الذي توفّره فئة التخزين Standard، لذا لا توجد عقوبة على أداء القراءة عند استخدام مستويات التخزين الأقل نشاطًا في Earth Engine. مع أنّ عمليات حساب Earth Engine يمكنها أيضًا قراءة هذه المستويات بدون فرض رسوم على استرداد بيانات البيع بالتجزئة، فإنّ قواعد البيع بالتجزئة في Cloud Storage تفرض مدة تخزين دنيا صارمة (30 يومًا لفئة Nearline و90 يومًا لفئة Coldline و365 يومًا لفئة Archive). يؤدي تعديل الملفات أو حذفها قبل الحد الأدنى لمدة تخزينها إلى فرض رسوم إضافية على الحذف المبكر. بالإضافة إلى ذلك، فإن الوصول إلى العناصر الباردة من أي أداة عميل خارجية يؤدي إلى فرض رسوم إضافية باهظة لاسترداد البيانات.

ملاحظة مهمة: بما أنّ Earth Engine يطلب بيانات المربّعات المكانية بكفاءة عند الحاجة أثناء التنفيذ بدون فرض رسوم إضافية على عملية استرجاع GCS لكل عملية، توفّر تكلفة السلع المُباعة ميزانية تخزين شهرية يمكن توقّعها بدرجة كبيرة حتى بالنسبة إلى الخوارزميات المعقّدة التي تتضمّن عمليات متعددة.

للاطّلاع على تفاصيل حول أسعار البيع بالتجزئة وسياسات الحد الأدنى للمدة، يُرجى مراجعة دليل أسعار Google Cloud Storage.

سير العمل العالي المستوى

تتضمّن سير العمل المعتادة لاستخدام COG في Earth Engine الخطوات التالية:

لاستيراد البيانات الخارجية:

• التحسين: حوِّل ملفات الصور النقطية إلى تنسيق COG باستخدام أدوات خارجية (مثل GDAL أو البرامج النصية لمحطة العمل المحلية أو مسارات معالجة البيانات على السحابة الإلكترونية).
• التحميل: حمِّل ملفات COG إلى حزمة Cloud Storage متوافقة تقع في us-central1 أو في منطقة متعدّدة في الولايات المتحدة.
• الأذونات: تأكَّد من أنّك وأي متعاونين في المشروع لديكم إذن قراءة الملفات في Cloud Storage (راجِع أذونات COG).
• التسجيل: استخدِم مكتبة برامج Python أو أداة سطر الأوامر earthengine أو REST API لتسجيل ملفات COG كمواد عرض في Earth Engine (راجِع تسجيل ملفات COG).

لتصدير النتائج:

• التصدير: يمكنك إجراء عملية تصدير مجمّعة من Earth Engine إلى Cloud Storage مع ضبط cloudOptimized على true (يُرجى الاطّلاع على تصدير الصور).
• التسجيل (اختياري): سجِّل ملف COG الذي تم تصديره مرة أخرى في Earth Engine كمادة عرض جديدة لإجراء المزيد من التحليلات (راجِع تسجيل ملف COG).

هل أنت مستعد للبدء؟ اتّبِع دليل تسجيل COG المفصّل لتسجيل مادة العرض الأولى.