تحتوي حزمة GCS gs://alphaearth_foundations على ملفات COG (ملفات GeoTIFF محسّنة للبيانات الجغرافية السحابية) التي تشكّل معًا مجموعة بيانات AlphaEarth Foundations السنوية لبيانات Satellite Embedding. وتتضمّن هذه الحزمة بيانات Satellite Embedding السنوية للأعوام من 2017 إلى 2025 ضِمنًا.
تلتزم Google بالإنتاج المستمر لطبقات بيانات Satellite Embedding السنوية، وستقدّم إشعارًا قبل عام واحد على الأقل بأي تغيير متوقّع في طريقة التسليم، وذلك رهنًا بالتوفّر المستمر لتدفقات البيانات الواردة من هيئة المسح الجيولوجي الأمريكية (USGS) ووكالة الفضاء الأوروبية (ESA) التي يعتمد عليها إنتاج مجموعة البيانات.
الترخيص
هذه المجموعة من البيانات مرخّصة بموجب ترخيص المشاع الإبداعي CC-BY 4.0، وتتطلّب نص تحديد المصدر التالي: "تم إنتاج مجموعة بيانات AlphaEarth Foundations لبيانات Satellite Embedding من قِبل Google وGoogle DeepMind".
اعتبارًا من يوليو 2026، تم إعداد هذه الحزمة على أنّها "يدفع الموفّر".
بنية الدليل
يتم تقسيم الملفات إلى أدلة حسب السنة، ويتم تقسيم دليل كل سنة إلى 120 دليلاً فرعيًا، واحد لكل منطقة UTM، وتعكس أسماؤها رقم المنطقة ونصف الكرة الأرضية (N أو S).
يتضمّن كل دليل عددًا من ملفات COG. تحتوي هذه الملفات على جميع بيانات البكسل لمنطقة UTM هذه.
بنية الملف
يبلغ حجم كل ملف 8192 × 8192 بكسل، ويتضمّن 64 قناة. تمت تسوية حجم كل بكسل، بعد تطبيق عملية إلغاء التكميم (راجِع أدناه)، بحيث يكون له طول إقليدي يبلغ 1.
تحتوي الملفات على طبقات نظرة عامة بدقة 4096 × 4096 بكسل و2048 × 2048 بكسل وما إلى ذلك، وصولاً إلى طبقة نظرة عامة على المستوى الأعلى بدقة 1 × 1 بكسل. تم إنشاء طبقات النظرة العامة هذه بحيث يكون كل بكسل في النظرة العامة هو متوسط البكسلات الأعلى دقةً ضمن هذا البكسل، وتمت تسوية حجم المتوسط ليكون طوله 1.
تتوافق القنوات، بالترتيب، مع المحاور A00 إلى A63 في مجموعة بيانات Satellite Embedding. تحتوي ملفات COG أيضًا على هذه التسمية للقنوات.
قيمة كل بكسل لكل قناة هي عدد صحيح مؤلّف من 8 بتات مع إشارة. يتم توضيح طريقة ربط هذه القيم بالقيم الأصلية (في النطاق [-1, 1]) لبيانات Satellite Embedding في قسم إلغاء التكميم.
تشير القيمة -128 إلى بكسل محجوب. إذا كانت هذه القيمة موجودة في قناة واحدة، ستكون موجودة في جميع القنوات. تعكس ملفات COG ذلك (أي أنّها تحتوي على القيمة NoData التي تم ضبطها على -128).
يحتوي اسم كل ملف أيضًا على بعض المعلومات. على سبيل المثال، لنأخذ الملف الذي يحمل الاسم gs://alphaearth_foundations/satellite_embedding/v1/annual/2019/1S/x8qqwcsisbgygl2ry-0000008192-0000000000.tiff.
كما هو واضح في اسم الملف، فإنّ هذا الملف هو جزء من بيانات Satellite Embedding السنوية لعام 2019، لمنطقة UTM 1S (المنطقة 1، نصف الكرة الأرضية الجنوبي). يساعد اسم الملف الأساسي، x8qqwcsisbgygl2ry-0000008192-0000000000، في ربط هذا الملف باسم صورة Satellite Embedding المقابلة في Earth Engine. في هذا المثال، يتوافق هذا الملف مع جزء من صورة Earth Engine GOOGLE/SATELLITE_EMBEDDING/V1/ANNUAL/x8qqwcsisbgygl2ry. يشير الجزءان العشريان من اسم الملف إلى موضع قيم ملف COG هذا بالنسبة إلى صورة Earth Engine هذه، كإزاحة في المحور Y متبوعة بإزاحة في المحور X. في هذه الحالة، يكون أصل بكسل ملف COG عند (0, 8192) بالنسبة إلى أصل صورة Earth Engine.
يعود السبب إلى أنّه كان من الضروري تقسيم كل صورة من صور Earth Engine (التي يبلغ حجمها 16384 × 16384 بكسل) حتى لا تكون ملفات COG الناتجة كبيرة جدًا.
إلغاء التكميم
لتحويل القيمة الأولية الموقَّعة المكوّنة من 8 بتات (التي ستكون بين -127 و127 ضِمنًا، لأنّ القيمة -128 محجوزة كقيمة "لا بيانات") في كل قناة من قنوات كل بكسل إلى قيمة النقطة العائمة الجاهزة للتحليل (التي ستكون بين -1 و1)، يجب إجراء عملية الربط التالية:
- القسمة على 127.5
- التربيع
- الضرب في إشارة القيمة الأصلية
يمكن التعبير عن ذلك في NumPy على النحو التالي:
# values is a NumPy array of raw pixel values
de_quantized_values = ((values / 127.5) ** 2) * np.sign(values)
في Earth Engine، ستكون العملية المقابلة على النحو التالي:
var de_quantized_values = values.divide(127.5).pow(2).multiply(values.signum());
إنشاء أهرامات تم تقليل دقتها
إذا كنت تنوي إنشاء إصداراتك الخاصة التي تم تقليل دقتها أو النظرات العامة الخارجية من طبقة الدقة الأساسية لملفات COG هذه (على سبيل المثال، بعد تجميع عدة ملفات)، عليك اتّباع الإجراء التالي. لن تؤدي تقنيات إنشاء الأهرامات النقطية العادية (مثل استخدام gdaladdo مع -r average على قيم الأعداد الصحيحة الأولية) إلى نتائج صحيحة.
- إلغاء التكميم: يمكنك تحويل الأعداد الصحيحة الأولية المكوّنة من 8 بتات إلى أعداد عائمة باستخدام الطريقة الموضّحة في قسم إلغاء التكميم.
- جمع المتجهات: يمكنك إجراء عملية جمع على مستوى العناصر للمتجهات التي تم إلغاء تكميمها.
- التسوية: يمكنك حساب المعيار الإقليدي لمتجه الجمع الناتج وقسمته على المعيار لإعادة تسويته إلى طول الوحدة.
import numpy as np
# Assuming 'raw_values' is a NumPy array of shape (N, 64)
# containing the raw signed 8-bit integers from N pixels.
# N = 4 for a 2x2 aggregation, for example.
# 1. De-quantize
de_quantized_values = ((raw_values / 127.5) ** 2) * np.sign(raw_values)
# 2. Sum the de-quantized vectors
sum_vec = np.sum(de_quantized_values, axis=0) # Shape (64,)
# 3. Normalize the sum vector
norm = np.linalg.norm(sum_vec)
# Add epsilon to prevent division by zero
pyramided_vec = sum_vec / (norm + 1e-9)
# 'pyramided_vec' is the correctly downsampled 64-dimensional unit vector.
تم إنشاء طبقات النظرة العامة في ملفات COG باستخدام هذا الإجراء، وإذا كانت مناسبة لاحتياجاتك، يمكنك استخدامها على الفور بدون إجراء أي عمليات حسابية إضافية.
بيان الفهرس
يمكنك الاطّلاع على قائمة بالملفات في مجموعة البيانات هذه في gs://alphaearth_foundations/satellite_embedding/v1/annual/manifest.txt.
بما أنّه لا يمكن تحديد المنطقة الجغرافية التي تغطيها أسماء الملفات، تم أيضًا توفير فهرس بثلاثة أشكال (GeoParquet وGeoPackage وCSV) في الملفات gs://alphaearth_foundations/satellite_embedding/v1/annual/aef_index.parquet وgs://alphaearth_foundations/satellite_embedding/v1/annual/aef_index.gpkg وgs://alphaearth_foundations/satellite_embedding/v1/annual/aef_index.csv. يحتوي هذا الفهرس على إدخال واحد لكل ملف في مجموعة البيانات. المعلومات المقدَّمة لكل ملف هي:
- شكل الملف الهندسي كمضلّع WGS84 (أي EPSG:4326). في نموذج CSV، يكون ذلك في العمود
WKT. راجِع قسم معالجة الأشكال الهندسية للحصول على تفاصيل حول العمليات الحسابية. crs: نظام الإحداثيات المرجعي لمنطقة UTM التي تنتمي إليها هذه الصورة كرمز EPSG، مثلEPSG:32610.year: السنة التي تغطيها الصورة.utm_zone: منطقة UTM للصورة، مثل10N.utm_westوutm_southوutm_eastوutm_north: حدود UTM لمصفوفة البكسل الأولية. لا يعكس ذلك أي معالجة للأشكال الهندسية، ويشمل جميع البكسلات سواء كانت صالحة أم لا.wgs84_westوwgs84_southوwgs84_eastوwgs84_north: الحد الأدنى والأقصى لخط الطول وخط العرض للشكل الهندسي WGS84.
معالجة الأشكال الهندسية
تكون مصفوفة البكسل في الأصل في منطقة UTM معيّنة، لذا فإنّ المربّع المحيط بمصفوفة البكسل في منطقة UTM هذه هو مستطيل بسيط. يتم تحويل هذا المربّع المحيط إلى مضلّع في WGS84. يتضمّن هذا المضلّع عددًا من النقاط الإضافية بحيث تتبع حوافه عن كثب الخطوط المنحنية في WGS84 التي تتحوّل إليها الخطوط المستقيمة في UTM. لا يأخذ هذا المضلّع في الاعتبار صلاحية البكسلات في الصورة، بل حدود مصفوفة البكسل في الصورة فقط.
يتم بعد ذلك قص المضلّع إلى الحد الأدنى والأقصى لخط الطول في منطقة UTM للصورة. من الناحية العملية، قد يؤدي ذلك إلى عدم تضمين بعض البكسلات الصالحة التي تمتد إلى ما بعد حافة منطقة UTM. لا يُفترض أن يؤدي حذف هذه البكسلات من الفهرس إلى أي مشاكل، لأنّ بعض الصور من منطقة UTM المجاورة يجب أن تغطي هذه المنطقة.
يُرجى العِلم أنّ القص إلى الحد الأدنى والأقصى لخط الطول في منطقة UTM يعني أنّه لا يوجد مضلّع يعبر خط الزوال المعاكس، ما من شأنه أن يجعل معالجة هذا الملف أسهل قليلاً.