Общедоступные выборки данных для пользовательских спутниковых эмбеддингов

Сегмент GCS gs://alphaearth_foundations_custom содержит примеры наборов данных пользовательских векторных представлений спутниковых данных, состоящих из файлов COG (Cloud Optimized GeoTIFF), сгенерированных AlphaEarth Foundations.

Лицензия

Эта коллекция наборов данных лицензирована в соответствии с CC-BY 4.0 и требует следующего текста атрибуции: "Специальные спутниковые эмбеддинги из AlphaEarth Foundations созданы Google и Google DeepMind". Использование этих общедоступных наборов данных регулируется Правилами допустимого использования Google Cloud.

Доступные наборы данных

Ниже приведен список наборов данных в этом сегменте. Он содержит название набора данных, описание и общую область, охватываемую набором данных. Обратите внимание, что время начала включается в интервал, а время окончания – нет.

  • name: corcoran_city_2026_agricultural_change
    area: Коркоран и окружающий сельскохозяйственный регион, Калифорния, США
    description: Эмбеддинги зимней голой почвы (15 декабря 2025 г. – 15 февраля 2026 г.) и весеннего пика зелени (15 марта – 15 мая 2026 г.), отражающие динамику сельскохозяйственных культур в течение двух сезонных периодов.

  • name: futaleufu_argentina_2026_fire_scar
    area: национальный парк Лос-Алерсес и прилегающий регион, департамент Футалеуфу, провинция Чубут, Аргентина
    description: эмбеддинги до пожара (1–31 декабря 2025 г.) и после него (1–31 марта 2026 г.), отражающие степень выгорания и повреждения лесного полога в результате лесного пожара в Лос-Алерсесе в 2026 г.

  • name: king_county_2025_monthly
    area: King County, Washington, USA
    description: Calendar-month embeddings for the King County administrative area for the first six months of 2025, covering diverse urban city infrastructure and forested land.

  • name: meloland_california_2026_crop_cycles
    area: Мелоленд и окружающие сельскохозяйственные поля, Империал-Вэлли, Калифорния, США
    description: Шесть последовательных ежемесячных (с 15-го по 15-е число) временных шагов эмбеддинга (с середины ноября 2025 г. по середину мая 2026 г.) для отслеживания циклов севооборота.

  • name: pacific_palisades_2025_fire
    area: Pacific Palisades and surrounding coastal hills, Los Angeles, California, USA
    description: Pre-fire (Dec 7, 2024 - Jan 7, 2025) and post-fire (Jan 7 - Feb 7, 2025) 31-day embeddings capturing Palisades Fire wildfire impact and land cover change.

  • name: theewaterskloof_dam_2026_water_change
    area: Theewaterskloof Dam, Theewaterskloof Local Municipality, South Africa
    description: Dry-season (Jan 1-31, 2026) and wet-season recharge (Apr 15 - May 15, 2026) embeddings capturing reservoir water surface area changes.

Структура каталога

Все примеры наборов данных организованы под префиксом gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/:

gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/
└── {dataset_name}/
    ├── aef_index.parquet
    ├── manifest.txt
    └── {start_date}_{end_date}/
        └── {image_id}/
            ├── data.tiff
            └── image_manifest.json

У каждого набора данных есть собственный каталог, содержащий индексный файл GeoParquet aef_index.parquet на уровне набора данных, файл manifest.txt на уровне набора данных и один или несколько подкаталогов временных интервалов.

Подкаталоги с временными интервалами называются по шаблону {start_date}_{end_date}, где дата начала включается в интервал, а дата окончания – нет. Обе даты указываются в формате yyyyMMdd и часовом поясе UTC. Например, подкаталог за июнь 2025 г. будет называться 20250601_20250701, что соответствует интервалу времени с 2025-06-01T00:00:00Z (включительно) до 2025-07-01T00:00:00Z (не включительно).

Каждый каталог временного интервала содержит подкаталог для каждого эмбеддинга изображения в пределах этого временного интервала, названный идентификатором изображения ({image_id}), который уникально идентифицирует изображение в наборе данных. Каждый подкаталог {image_id} содержит файл data.tiff COG с данными пикселей и сопутствующий файл image_manifest.json, который используется для регистрации данных в Earth Engine.

Структура файла

Внутренняя структура каждого COG-файла, включая его размеры 8192 x 8192 пикселей, 64 канала (от A00 до A63), нормализованные обзорные пирамиды, квантование 8-битных целых чисел со знаком и значение маски -128 NoData, идентична ежегодным COG-файлам эмбеддингов спутниковых снимков. В отличие от годовых COG, действительные пиксели в каждом фрагменте выборки обычно покрывают только подмножество сетки 8192 x 8192, соответствующее интересующему региону, а все остальные пиксели маскируются как -128 (NoData). Подробные сведения о макете COG можно найти в разделе File structure (Структура файла) руководства по данным AlphaEarth Foundations GCS.

Путь к каждому файлу COG также содержит определенную информацию. Например, рассмотрим файл по адресу gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/pacific_palisades_2025_fire/20250107_20250207/x1evicvaet1mupt13-0000008192-0000000000/data.tiff. Как видно из пути, этот файл является частью эмбеддингов для пожара Palisades Fire 2025 года в округе Лос-Анджелес. Этот файл содержит эмбеддинги, которые обобщают период с 7 января 2025 года (включительно) по 7 февраля 2025 года (не включительно). Название подкаталога x1evicvaet1mupt13-0000008192-0000000000 уникально идентифицирует COG-файл data.tiff в наборе данных pacific_palisades_2025_fire. Этот идентификатор представляет собой непрозрачный UUID.

Эти и другие метаданные можно извлечь из файла image_manifest.json, который находится по адресу gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/pacific_palisades_2025_fire/20250107_20250207/x1evicvaet1mupt13-0000008192-0000000000/image_manifest.json. Этот файл представляет собой JSON-представление манифеста изображения Earth Engine. Структура JSON манифеста изображений описана в руководстве по манифесту изображений. Полное описание содержимого файла image_manifest.json приведено в разделе Манифест изображения.

Де-квантование

Необработанные значения пикселей в каждом канале представляют собой 8-битные целые числа со знаком в диапазоне [-127, 127] (значение -128 зарезервировано для отсутствующих данных). Чтобы получить готовые к анализу значения с плавающей запятой в диапазоне [-1, 1], необходимо выполнить деквантование. Инструкции по деквантованию и созданию пирамид с пониженной частотой дискретизации можно найти в разделах De-quantization и Create downsampled pyramids руководства по данным GCS для AlphaEarth Foundations.

Манифесты и индексы

Чтобы упростить поиск, итерацию и регистрацию тайлов, каждый набор данных предоставляет два типа манифестов: список файлов COG на уровне набора данных (manifest.txt) и манифест метаданных для каждого изображения (image_manifest.json), а также пространственный индекс GeoParquet на уровне набора данных (aef_index.parquet).

Манифест набора данных

Каждый набор данных включает файл manifest.txt, расположенный в корневом каталоге: gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/{dataset_name}/manifest.txt

Это обычный текстовый файл, содержащий полный URI Google Cloud Storage для каждого файла data.tiff в наборе данных, разделенный символами новой строки.

Манифест образа

Рядом с каждым файлом data.tiff находится сопутствующий файл image_manifest.json: gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/{dataset_name}/{start_date}_{end_date}/{image_id}/image_manifest.json

Этот файл JSON соответствует спецификации манифеста изображений Earth Engine и описывает исходные файлы тайла, структуру каналов, временные границы и пространственный охват.

Стандартные поля манифеста (например, tilesets и bands) соответствуют стандартным соглашениям Earth Engine, но есть несколько важных деталей, на которые следует обратить внимание:

  • name: оставлено пустым ("") в GCS. При использовании этого манифеста для регистрации изображения в коллекции объектов Earth Engine клиент должен указать идентификатор объекта (например, projects/{project}/assets/{collection}/{image_id}). Подробную информацию можно найти в статье Как загрузить набор данных в Earth Engine.
  • start_time и end_time – временные метки начала (включительно) и окончания (не включительно) составного периода времени в формате UTC, соответствующем стандарту ISO 8601 (например, 2026-03-15T00:00:00+00:00).
  • footprint – замкнутый многоугольник в пиксельных координатах, очерчивающий область, которая содержит действительные пиксели. Обратите внимание, что в многоугольнике могут отсутствовать пиксели. Это происходит в случае сложных геометрических фигур, таких как king_county_2025_monthly.
  • properties – метаданные в формате "ключ-значение", относящиеся к эмбеддингу, в том числе:
    • IMAGE_ID – уникальный идентификатор изображения в наборе данных.
    • DATASET – название набора данных.
    • DATASET_VERSION – версия набора данных.
    • START_DATE и END_DATE – даты начала (включительно) и окончания (не включительно) интервала времени, к которому относится изображение, в формате YYYY-MM-DD.
    • MODEL_VERSION – строка версии, которая уникальным образом идентифицирует версию модели, использованную для создания изображения.
    • PROCESSING_SOFTWARE_VERSION: строка версии, которая уникальным образом идентифицирует ПО для обработки данных модели, использованное для создания изображения.
    • UTM_ZONE – зона UTM системы координат, использованной для создания изображения.

Индекс GeoParquet

Каждый набор данных включает файл пространственного индекса GeoParquet, расположенный в корневом каталоге: gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/{dataset_name}/aef_index.parquet

Этот индекс содержит по одной записи для каждого файла data.tiff в наборе данных и предоставляет пространственные и временные метаданные, помогающие определить, какие файлы охватывают заданную область и период времени:

  • geometry – геометрия файла в виде многоугольника WGS84 (EPSG:4326). Подробную информацию о том, как этот многоугольник вычисляется на основе граничной рамки UTM массива пикселей и обрезается по границам зоны UTM, можно найти в разделе Обработка геометрии руководства по данным GCS AlphaEarth Foundations. Обратите внимание, что этот многоугольник отражает границы полного массива пикселей 8192x8192 и не учитывает достоверность отдельных пикселей.
  • crs – система координат зоны UTM, к которой относится изображение, в виде кода EPSG, например EPSG:32610.
  • path – URI Google Cloud Storage (gs://...) файла COG data.tiff.
  • dataset – название набора данных.
  • start_date и end_date – даты начала (включительно) и окончания (не включительно) временного интервала, к которому относится изображение, в формате YYYY-MM-DD.
  • image_id – уникальный идентификатор изображения в наборе данных.
  • utm_zone – зона UTM изображения, например 10N.
  • utm_west, utm_south, utm_east, utm_north – границы UTM необработанного массива пикселей. Это не отражает обработку геометрии и включает все пиксели, независимо от того, действительны они или нет.
  • wgs84_west, wgs84_south, wgs84_east, wgs84_north – минимальная и максимальная долгота и широта в системе координат WGS84 geometry.

Как загрузить набор данных в Earth Engine

ПРИМЕЧАНИЕ. Для удобства все примеры наборов данных для пользовательских спутниковых эмбеддингов будут добавлены в Google Earth Engine как общедоступные коллекции ImageCollection с помощью метода, описанного в руководстве по блокноту, и уже будут деквантованы. Руководство по ссылке предназначено для пользователей, которые регистрируют новые наборы данных Custom Satellite Embedding в качестве ImageCollections в Google Earth Engine.

COGs можно загрузить в Earth Engine, зарегистрировав их как объекты, поддерживаемые COG, или загрузив напрямую. Полное руководство по обоим методам см. в блокноте Custom Satellite Embeddings Data Access на GitHub. Общие сведения и сравнение этих двух методов приведены в статье Оптимизированные для облака файлы GeoTIFF (COG) в Earth Engine.