דוגמאות לנתונים ציבוריים של הטמעות לווייניות בהתאמה אישית

קטגוריית GCS של gs://alphaearth_foundations_custom מכילה קבוצות נתונים לדוגמה של הטמעות לוויין בהתאמה אישית, שמורכבות מקובצי COG (Cloud Optimized GeoTIFF) שנוצרו על ידי AlphaEarth Foundations.

רישיון

אוסף קבוצות הנתונים הזה מורשה במסגרת CC-BY 4.0 ודורש את הטקסט הבא לציון קרדיט: "הטמעות לוויין בהתאמה אישית מ-AlphaEarth Foundations נוצרות על ידי Google ו-Google DeepMind". השימוש במערכי הנתונים הציבוריים האלה כפוף למדיניות השימוש המקובל ב-Google Cloud.

קבוצות הנתונים הזמינות

ברשימה הבאה מפורטים מערכי הנתונים בקטגוריה הזו. הוא מכיל את השם, התיאור והאזור הכללי של קבוצת הנתונים. שימו לב שבמרווחי הזמן כאן, שעת ההתחלה נכללת ושעת הסיום לא נכללת.

  • שם: corcoran_city_2026_agricultural_change
    אזור: קורקורן והאזור החקלאי שמסביב, קליפורניה, ארה"ב
    תיאור: הטמעות של אדמה חשופה בחורף (15 בדצמבר 2025 עד 15 בפברואר 2026) ושיא הצמחייה באביב (15 במרץ עד 15 במאי 2026) שמתעדות את הדינמיקה של הגידולים החקלאיים בשני חלונות עונתיים.

  • שם: futaleufu_argentina_2026_fire_scar
    אזור: הפארק הלאומי לוס אלרסס והאזור שמסביב, מחלקת פוטלאופו, פרובינציית צ'ובוט, ארגנטינה
    תיאור: הטמעות לפני השריפה (1-31 בדצמבר 2025) ואחרי השריפה (1-31 במרץ 2026) שמתעדות את היקף צלקת השריפה ואת ההפרעה לחופת היער משריפת היער בלוס אלרסס בשנת 2026.

  • name: king_county_2025_monthly
    area: King County, Washington, USA
    description: הטמעות של חודש קלנדרי לאזור המנהלי של King County בששת החודשים הראשונים של 2025, שכוללות תשתיות עירוניות מגוונות ושטחים מיוערים.

  • שם: meloland_california_2026_crop_cycles
    אזור: מלולנד והשדות החקלאיים שמסביב, אימפריאל ואלי, קליפורניה, ארה"ב
    תיאור: שישה שלבי הטמעה חודשיים עוקבים (מה-15 עד ה-15) (מאמצע נובמבר 2025 עד אמצע מאי 2026) שעוקבים אחרי מחזורי רוטציה של כמה גידולים.

  • name: pacific_palisades_2025_fire
    area: Pacific Palisades and surrounding coastal hills, Los Angeles, California, USA
    description: Pre-fire (Dec 7, 2024 - Jan 7, 2025) and post-fire (Jan 7 - Feb 7, 2025) 31-day embeddings capturing Palisades Fire wildfire impact and land cover change.

  • שם: theewaterskloof_dam_2026_water_change
    אזור: סכר תיווטרסקלוף, הרשות המקומית תיווטרסקלוף, דרום אפריקה
    תיאור: הטמעות של העונה היבשה (1-31 בינואר 2026) והעונה הרטובה (15 באפריל עד 15 במאי 2026) שמתעדות שינויים בשטח פני המים במאגר.

מבנה הספרייה

כל מערכי הנתונים לדוגמה מאורגנים תחת הקידומת gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/:

gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/
└── {dataset_name}/
    ├── aef_index.parquet
    ├── manifest.txt
    └── {start_date}_{end_date}/
        └── {image_id}/
            ├── data.tiff
            └── image_manifest.json

לכל מערך נתונים יש ספרייה משלו שמכילה קובץ אינדקס GeoParquet ברמת מערך הנתונים aef_index.parquet, קובץ manifest.txt ברמת מערך הנתונים וספריית משנה אחת או יותר של מרווחי זמן.

השמות של ספריות המשנה האלה של מרווחי הזמן נקבעים לפי התבנית {start_date}_{end_date}, כאשר תאריך ההתחלה נכלל ותאריך הסיום לא נכלל. שני התאריכים בפורמט yyyyMMdd ולפי אזור הזמן UTC. לדוגמה, ספריית משנה לחודש יוני 2025 תיקרא 20250601_20250701, והיא תתאים למרווח הזמן מ-2025-06-01T00:00:00Z (כולל) עד 2025-07-01T00:00:00Z (לא כולל).

כל ספריית מרווח זמן מכילה ספריית משנה לכל הטמעת תמונה במרווח הזמן הזה, עם מזהה תמונה ({image_id}) שמזהה באופן ייחודי את התמונה בתוך מערך הנתונים. כל תת-ספרייה של {image_id} מכילה קובץ COG של data.tiff עם נתוני הפיקסלים וקובץ עזר image_manifest.json שמשמש לרישום הנתונים ב-Earth Engine.

מבנה הקובץ

המבנה הפנימי של כל קובץ COG – כולל המידות שלו בפיקסלים (8192x8192),‏ 64 ערוצים (A00 עד A63), פירמידות סקירה מנורמלות, קוונטיזציה של מספר שלם של 8 ביט עם סימן וערך מסכה של -128 NoData – זהה לקובצי ה-COG השנתיים של הטמעות הלוויין. בניגוד לקובצי ה-COG השנתיים, פיקסלים תקינים בכל משבצת לדוגמה בדרך כלל מכסים רק קבוצת משנה של רשת 8192x8192 שתואמת לאזור הרלוונטי, וכל שאר הפיקסלים מוסתרים בתור -128 (NoData). פרטים מלאים על פריסת ה-COG זמינים בקטע מבנה הקובץ במדריך הנתונים של AlphaEarth Foundations GCS.

הנתיב של כל קובץ COG מכיל גם מידע. לדוגמה, הקובץ בנתיב gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/pacific_palisades_2025_fire/20250107_20250207/x1evicvaet1mupt13-0000008192-0000000000/data.tiff. כפי שניתן לראות בנתיב, הקובץ הזה הוא חלק מההטמעות של השריפה בפליסיידס במחוז לוס אנג'לס בשנת 2025. הקובץ הספציפי הזה מכיל הטמעות שמסכמות תקופה מ-7 בינואר 2025 (כולל) עד 7 בפברואר 2025 (לא כולל). שם ספריית המשנה x1evicvaet1mupt13-0000008192-0000000000 מזהה באופן ייחודי את ה-COG של data.tiff במערך הנתונים pacific_palisades_2025_fire. המזהה הזה הוא UUID אטום.

לחלופין, אפשר לחלץ את המטא-נתונים של הקובץ הזה ונתונים נוספים מקובץ ה-image_manifest.json של ה-COG שנמצא בכתובת gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/pacific_palisades_2025_fire/20250107_20250207/x1evicvaet1mupt13-0000008192-0000000000/image_manifest.json. הקובץ הזה הוא ייצוג ב-JSON של מניפסט תמונה ב-Earth Engine. מבנה ה-JSON של מניפסט תמונה מוגדר במדריך למניפסט תמונה. לתיאור מלא של התוכן בקובץ image_manifest.json נתון, ראו את הקטע מניפסט תמונה.

ביטול קוונטיזציה

ערכי הפיקסלים הגולמיים בכל ערוץ הם מספרים שלמים של 8 ביט בטווח [127, 127-] (כאשר -128 שמור כערך "אין נתונים"), וצריך לבטל את הקוונטיזציה שלהם כדי ליצור ערכים של נקודה צפה (floating-point) בטווח [1, 1-] שמוכנים לניתוח. כדי לראות את המיפוי של ביטול הקוונטיזציה והוראות ליצירת פירמידות של דגימת חסר, עיינו בקטעים De-quantization ו-Create downsampled pyramids במדריך הנתונים של AlphaEarth Foundations ב-GCS.

מניפסטים ואינדקסים

כדי שיהיה קל יותר למצוא, לחזור על ולרשום משבצות הטמעה, כל קבוצת נתונים מספקת שני סוגים של מניפסטים – רשימה של קובצי COG ברמת קבוצת הנתונים (manifest.txt) ומניפסט מטא-נתונים לכל תמונה (image_manifest.json) – יחד עם אינדקס מרחבי של GeoParquet ברמת קבוצת הנתונים (aef_index.parquet).

מניפסט של קבוצת נתונים

כל מערך נתונים כולל קובץ manifest.txt שנמצא בתיקיית השורש של הספרייה שלו: gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/{dataset_name}/manifest.txt

זהו קובץ טקסט פשוט שמכיל את ה-URI המלא של Google Cloud Storage לכל קובץ data.tiff במערך הנתונים, מופרד על ידי שורות חדשות.

מניפסט של תמונה

לצד כל קובץ data.tiff יש קובץ image_manifest.json נלווה: gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/{dataset_name}/{start_date}_{end_date}/{image_id}/image_manifest.json

קובץ ה-JSON הזה תואם למפרט המניפסט של תמונות ב-Earth Engine ומתאר את קובצי המקור של המשבצת, את מבנה הפס, את הגבולות הזמניים ואת הכיסוי המרחבי.

השדות הרגילים של המניפסט (כמו tilesets ו-bands) פועלים לפי המוסכמות הרגילות של Earth Engine, אבל יש כמה פרטים חשובים שצריך לשים לב אליהם:

  • ‫name: נשאר ריק ("") ב-GCS. כשמשתמשים במניפסט הזה כדי לרשום תמונה באוסף נכסים של Earth Engine, הלקוח צריך לספק את מזהה נכס היעד (למשל, projects/{project}/assets/{collection}/{image_id}). פרטים נוספים זמינים במאמר טעינת מערך נתונים ל-Earth Engine.
  • ‫start_time ו-end_time: מציינים את חותמות הזמן של ההתחלה (כולל) והסיום (לא כולל) של תקופת הזמן המורכבת ב-UTC, בפורמט ISO 8601 (למשל, 2026-03-15T00:00:00+00:00).
  • ‫footprint: מצולע סגור בקואורדינטות של פיקסלים שתוחם אזור שמכיל פיקסלים תקינים. שימו לב שעדיין יכולים להיות פיקסלים חסרים בתוך המצולע, כמו במקרה של גיאומטריות הטמעה מורכבות כמו king_county_2025_monthly.
  • ‫properties: מטא-נתונים של מפתח/ערך שספציפיים להטמעה, כולל:
    • ‫IMAGE_ID: המזהה הייחודי של התמונה בתוך מערך הנתונים.
    • ‫DATASET: שם מערך הנתונים.
    • ‫DATASET_VERSION: גרסת מערך הנתונים.
    • ‫START_DATE ו-END_DATE: תאריכי ההתחלה (כולל) והסיום (לא כולל) של מרווח הזמן שהתמונה מכסה, בפורמט YYYY-MM-DD.
    • ‫MODEL_VERSION: מחרוזת הגרסה שמזהה באופן ייחודי את גרסת המודל ששימשה ליצירת התמונה.
    • ‫PROCESSING_SOFTWARE_VERSION: מחרוזת הגרסה שמזהה באופן ייחודי את התוכנה לעיבוד נתוני המודל ששימשה ליצירת התמונה.
    • ‫UTM_ZONE: אזור ה-UTM של מערכת הקואורדינטות ששימשה ליצירת התמונה.

אינדקס GeoParquet

כל קבוצת נתונים כוללת קובץ אינדקס מרחבי של GeoParquet שנמצא בספריית הבסיס שלו: gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/{dataset_name}/aef_index.parquet

האינדקס הזה מכיל רשומה אחת לכל קובץ data.tiff במערך הנתונים, ומספק מטא-נתונים מרחביים וזמניים כדי לעזור לקבוע אילו קבצים מכסים אזור ותקופת זמן נתונים:

  • ‫geometry: הגיאומטריה של הקובץ כמצולע WGS84 (EPSG:4326). כדי להבין איך המצולע הזה מחושב מהתיבה התוחמת (bounding box) של UTM במערך הפיקסלים, ואיך הוא נחתך לגבולות של אזור UTM, קראו את הקטע עיבוד גיאומטריה במדריך הנתונים של AlphaEarth Foundations GCS. שימו לב שהפוליגון הזה משקף את הגבולות של מערך הפיקסלים המלא בגודל 8192x8192, ולא מביא בחשבון את התקינות של פיקסלים בודדים.
  • ‫crs: ה-CRS של אזור ה-UTM שאליו התמונה שייכת, כקוד EPSG, למשל EPSG:32610.
  • ‫path: ה-URI של Google Cloud Storage (gs://...) של קובץ ה-COG של data.tiff.
  • ‫dataset: שם מערך הנתונים.
  • ‫start_date ו-end_date: תאריכי ההתחלה (כולל) והסיום (לא כולל) של מרווח הזמן שהתמונה מכסה, בפורמט YYYY-MM-DD.
  • ‫image_id: המזהה הייחודי של התמונה בתוך מערך הנתונים.
  • ‫utm_zone: אזור ה-UTM של התמונה, למשל 10N.
  • ‫utm_west, utm_south, utm_east, utm_north: גבולות ה-UTM של מערך הפיקסלים הגולמי. הנתון הזה לא משקף עיבוד גיאומטרי וכולל את כל הפיקסלים, גם אם הם לא תקינים.
  • ‫wgs84_west, wgs84_south, wgs84_east, wgs84_north: קווי האורך והרוחב המינימליים והמקסימליים של geometry ב-WGS84.

טעינת מערך נתונים ל-Earth Engine

הערה: כדי להקל עליכם, כל קבוצות הנתונים לדוגמה של הטמעות לוויין בהתאמה אישית יתווספו ל-Google Earth Engine בתור ImageCollections ציבוריים, באמצעות השיטה שמתוארת במדריך המקושר ל-Notebook, והם כבר יהיו אחרי ביטול קוונטיזציה. המדריך המקושר יכול לשמש משתמשים שרושמים קבוצות נתונים חדשות של הטמעת לוויין בהתאמה אישית כ-ImageCollections של Google Earth Engine.

אפשר לטעון קובצי COG ל-Earth Engine על ידי רישום שלהם כנכסים שמגובים ב-COG או על ידי טעינה ישירה שלהם. במחברת Custom Satellite Embeddings Data Access ב-GitHub יש מדריך מלא לשתי השיטות. במאמר קובצי GeoTIFF שעברו אופטימיזציה לענן (COG) ב-Earth Engine תוכלו לקרוא סקירה כללית והשוואה בין שתי השיטות.