Введение
В поддержку усилий правительства Бразилии по внедрению Бразильского лесного кодекса и защите лесов на частных землях компания Google разработала две базовые карты на основе спутниковых наблюдений SPOT: визуальную базовую карту и аналитическую базовую карту (G-BFID v1.0).
Эти мозаичные изображения устанавливают базовый уровень для 22 июля 2008 года — критической даты в соответствии с Лесным кодексом Бразилии для определения «консолидированных территорий» — регионов с существовавшей ранее заселенностью или сельскохозяйственным использованием. Полученные из архива спутниковых данных SPOT, эти мозаичные наборы данных представляют собой альтернативу данным Landsat с разрешением 30 метров, которые традиционно используются для установления этого базового уровня.
Для объединения тысяч изображений SPOT в единые базовые карты, изображения прошли процедуру обработки, состоящую из следующих этапов:
- Уточнение контуров для устранения артефактов сжатия.
- Радиометрическая нормализация относительно базового уровня Landsat.
- Маскировка облаков (консервативная, ручная).
- Исправление несовпадения (совмещение с композитным изображением Landsat).
Для окончательного композитинга вместо статистического уменьшения размерности был использован детерминированный метод мозаичного изображения. Пиксели располагались слоями в соответствии с пространственным разрешением и хронологией спутниковых миссий, при этом приоритет отдавался наблюдениям с более новых спутников. Эта иерархия слоев была объединена с методом передискретизации ближайших соседей для обеспечения строгой идентификации происхождения данных. В результате каждый пиксель на итоговой базовой карте сохранил свое дискретное происхождение и оставался непосредственно отслеживаемым до конкретного исходного наблюдения и его метаданных.
Исходные данные
Технические характеристики спутника и датчика
Базовые карты G-BFID v1.0 получены на основе данных изображений SPOT (Satellite pour l'Observation de la Terre) . Миссии SPOT, осуществляемые CNES и распространяемые Airbus, предоставляют оптические изображения высокого разрешения с полосой обзора 60 км. В этом проекте для определения базового уровня 2008 года используется архив изображений с трех конкретных спутников:
- SPOT 2 и 4: Оснащены датчиками HRV/HRVIR, обеспечивающими мультиспектральные данные с разрешением 20 метров и панхроматические данные с разрешением 10 метров .
- SPOT 5: Оснащен датчиком HRG, обеспечивающим значительно улучшенное пространственное разрешение: мультиспектральные данные имеют разрешение 10 метров , а панхроматические — 5 метров .
| ТОЧКА 2 | ТОЧКА 4 | СПОТ 5 | |
|---|---|---|---|
| Многоспектральный | 20 м | 20 м | 10 м |
| Панхроматический | 10 м | 10 м | 5 м |
| Спектральные полосы | Зеленый, красный, ближний инфракрасный | Зеленый, красный, ближний инфракрасный, коротковолновый инфракрасный | Зеленый, красный, ближний инфракрасный, коротковолновый инфракрасный |
Таблица 1. Технические характеристики миссий SPOT 2, 4 и 5.
Примечание: Компания Airbus выпускает панхроматический продукт «суперрежим», который можно использовать для повышения резкости изображений SPOT 5 до разрешения 2,5 метра. Доступность этих данных крайне ограничена для целей данного проекта, поэтому они не были включены в расчет.
Входные коллекции Earth Engine
Для создания окончательных базовых карт были использованы и обработаны три различных продукта данных SPOT. Эти данные охватывают период с 9 января 2007 года по 26 ноября 2009 года, обеспечивая необходимую временную глубину для преодоления ограничений, связанных с облачным покровом, при сохранении высокого разрешения базовой линии.
Выбор сцены
Для поддержки усилий по защите лесов на частных землях, зарегистрированных в Реестре сельской окружающей среды (CAR), приоритетным географическим охватом был выбран биом Амазонии и пять штатов, входящих в «Дугу обезлесения»: Мараньяо, Мату-Гросу, Пара, Рондония и Токантинс.
Для соответствия требованиям Бразильского лесного кодекса был выбран временной интервал середины 2008 года. На основе этих временных критериев и облачности (<50%) было отобрано и загружено в каталог данных Earth Engine в общей сложности 10 072 изображения со спутников SPOT 2, 4 и 5 для обработки.
Примечание о спектральном составе: датчики SPOT 2, 4 и 5 изначально не регистрируют синий спектральный диапазон. Для получения изображений в естественных цветах поставщик данных предоставляет синтезированный синий диапазон, полученный из существующих спектральных диапазонов для приблизительного представления истинного цвета.
1. Многоспектральный естественный цвет с улучшенной резкостью.
- Earth Engine Asset:
AIRBUS/SPOT_2_4_5/BRAZIL/2007_2009/PMS_NC/V1 - Количество изображений: 2977
- Период: с 1 марта 2007 г. по 26 ноября 2009 г.
- Описание: Этот продукт объединяет панхроматический диапазон с более высоким разрешением с мультиспектральными диапазонами для получения четкого трехдиапазонного RGB-изображения. Это предпочтительный источник для визуальной базовой карты .
2. Многоспектральный естественный цвет
- Earth Engine Asset:
AIRBUS/SPOT_2_4_5/BRAZIL/2007_2009/MS_NC/V1 - Количество изображений: 3536
- Период: с 9 января 2007 г. по 26 ноября 2009 г.
- Описание: Псевдоестественный цветовой продукт в 3 диапазонах (имитация RGB) с собственным многоспектральным разрешением. Эта коллекция используется в Visual Basemap в качестве дополнительного источника, если данные с улучшенной резкостью могут быть недоступны.
3. Многоспектральный
- Earth Engine Asset:
AIRBUS/SPOT_2_4_5/BRAZIL/2007_2009/MS/V1 - Количество изображений: 3559
- Период: с 9 января 2007 г. по 26 ноября 2009 г.
- Описание: Источник аналитической базовой карты . Эта коллекция содержит исходные спектральные диапазоны (включая ближний инфракрасный и коротковолновый инфракрасный диапазоны, где это возможно), необходимые для расчета индексов растительности (например, NDVI) и классификации растительного покрова.
Географический охват и пробелы
Основная цель базовых карт G-BFID v1.0 — создание высокоразрешенной базовой линии, близкой к 2008 году, для административной территории Бразилии. Однако поддержание строгого временного окна (2007–2009 гг.) при одновременной фильтрации высококачественных изображений с низкой облачностью привело к пространственным пробелам, особенно в регионах с постоянной облачностью.
Выбор сцены и фильтрация качества
Для обеспечения целостности данных был отобран пул изображений за 2007–2009 годы с первоначальным облачным покровом менее 50%. Из него было отобрано чуть более 10 000 изображений, которые были дополнительно отфильтрованы для исключения тех, которые имели существенные проблемы с качеством:
- Проверка на разрывы : изображения с вручную выявленными телеметрическими или геометрическими артефактами, включая фрагментарные сцены, объединенные поставщиком данных, были исключены.
- Контроль качества в облачной среде : Сцены, отклоненные профессиональными аналитиками изображений из-за того, что они полностью покрыты облаками или по другим причинам.
- Плотность данных : Сохранялись только изображения, в которых после маскирования облаков оставалось более 10% действительных пикселей (визуальная базовая карта) (более 5% для аналитической базовой карты).
Пространственное распределение
Как показано на рисунке 5, мозаики достигают наибольшей плотности в «Дуге обезлесения» и северных/центрально-западных регионах. Прозрачные области представляют регионы, где ни одно изображение SPOT 2, 4 или 5 не прошло указанные выше фильтры качества в течение целевого временного периода или было замаскировано облаками.
Покрытие по штатам
На рисунке 6 представлено распределение охвата действительными пикселями по штатам. В таких штатах, как Рондония и Мату-Гросу, охват практически полный (>95%), в то время как в южных штатах и некоторых частях северо-востока плотность охвата ниже из-за ограничений архива и маскирования облаков.
Диаграмма также показывает, что визуальная базовая карта неизменно обеспечивает несколько более высокое покрытие действительными пикселями, чем аналитическая базовая карта, почти во всех состояниях. Эта разница существует потому, что визуальный продукт может использовать как паншарпенированные, так и мультиспектральные коллекции естественных цветов, тогда как аналитический продукт основан исключительно на мультиспектральной коллекции.
Методология обработки
Методология обработки базовых карт G-BFID v1.0 уделяет приоритетное внимание происхождению данных и радиометрической целостности для поддержки оценок соответствия требованиям Лесного кодекса. В этом разделе сначала определяется общая архитектура мозаики и логика послойного расположения, используемые для сохранения этой целостности, а затем описываются хронологические этапы предварительной обработки и нормализации, применяемые к отдельным исходным изображениям перед окончательной сборкой.
Мозаичный метод
Итоговые базовые карты были созданы с использованием мозаичного метода, а не статистических методов уменьшения размерности (таких как усреднение или медианное композитирование). Такой подход гарантирует, что конечные продукты сохранят исходные спектральные значения и пространственную текстуру исходных изображений. Избегая усреднения нескольких наблюдений, мозаичный метод сохраняет дискретное происхождение каждого пикселя.
Многоуровневая логика
Исходные изображения были наложены друг на друга с использованием иерархии, которая отдает предпочтение изображениям с более высоким пространственным разрешением и данным более поздних спутниковых миссий:
- Визуальная базовая карта: изображения были отсортированы по размеру пикселя (с приоритетом данных с самым высоким доступным разрешением), а затем по типу спутниковой миссии (с приоритетом данных с более новых спутников SPOT).
- Аналитическая базовая карта: изображения были наложены по спутниковым миссиям, при этом приоритет отдавался наблюдениям из более поздних миссий SPOT, чтобы получить наилучшие доступные данные.
Целостность и отслеживаемость
Передискретизация: Во всех внутренних перепроецированиях используется метод ближайшего соседа. Это позволяет избежать интерполяционного сглаживания, характерного для других методов, и гарантирует, что исходные радиометрические и пространственные свойства пикселей источника не будут зависеть от их соседей.
Отслеживаемость данных: В оба продукта включена полоса метаданных с
dateдля каждого пикселя. Это позволяет пользователям точно определить дату наблюдения для любого заданного местоположения, обеспечивая полную прозрачность при оценке соответствия требованиям Лесного кодекса.
Уточнение краев изображения
Для обеспечения четких границ между перекрывающимися сценами был применен процесс уточнения краев для удаления артефактов, присутствующих в исходных изображениях. Эти артефакты, проявляющиеся в виде пятнистых или «шумных» пикселей вдоль границ изображения, были характерны для сжатия данных с потерями, предоставленных поставщиком. Для решения этой проблемы к маскам изображений было применено сглаживание с минимальным фокусным расстоянием 2,5 пикселя, что позволило удалить низкокачественные краевые артефакты и гарантировать использование только достоверных данных в итоговых мозаиках (рис. 7).
Маскировка облаков
Для обеспечения максимально возможной целостности данных в G-BFID v1.0 была внедрена процедура ручного маскирования для всего архива изображений. Этот подход был выбран вместо автоматизированных методов, чтобы обеспечить более консервативное исключение пикселей, затронутых облаками или другими атмосферными помехами.
Процедура маскирования
Опытные аналитики выявили области, содержащие облака и связанные с ними атмосферные артефакты. Для обеспечения полного захвата этих проблемных пикселей была применена консервативная стратегия маскирования с использованием упрощенных, грубых геометрических форм. Вместо точного обведения контуров отдельных облаков, маскировались более крупные прямоугольные области, чтобы обеспечить максимальную четкость получившейся мозаики.
Хотя этот подход намеренно агрессивен — часто удаляются корректные пиксели, прилегающие к облакам, — он был сочтен необходимым для обеспечения высокого качества продукта в качестве базового образца 2008 года.
Политика маскировки и интеграция
Маски, созданные вручную, были разработаны исключительно для мультиспектральных и пан-шарпенированных изображений в естественных цветах. Поскольку мультиспектральный продукт в естественных цветах получается из мультиспектральных данных, эти маски затем распространялись на совпадающие мультиспектральные изображения в процессе обработки.
Любое мультиспектральное изображение, не имевшее соответствующего, вручную замаскированного аналога в естественных цветах, было исключено из итоговой мозаики. Это гарантирует, что из каждого пикселя, включенного в пакет G-BFID v1.0, независимо от типа продукта, были удалены облака.
Интерпретация пробелов в данных
Прозрачные пробелы в итоговых мозаиках представляют собой области, где отсутствуют достоверные высококачественные данные за период 2007–2009 годов. Эти пробелы являются результатом сочетания консервативного ручного маскирования, описанного выше, первоначального отбрасывания сцен с высокой облачностью (>50%) или полного отсутствия доступных исходных изображений от поставщика для конкретного региона. Хотя более крупные региональные пробелы обычно отражают отсутствие доступных изображений 2008 года, отчетливые «блочные» узоры, показанные на рисунке 9, являются следствием маскирования облаков.
Исправление ошибки регистрации
Для уменьшения значительных несовпадений в исходных изображениях SPOT относительно географической базовой линии, полученной из данных Landsat Collection 2, был внедрен автоматизированный процесс совмещения изображений.
Базовый уровень
Для совмещения изображений была создана безоблачная эталонная мозаика из коллекции Landsat 2. Эта эталонная фотография была построена с использованием медианного редуктора на изображениях Landsat 7 и 8, охватывающих Бразилию, за период 2006–2010 годов. В качестве основного целевого изображения для совмещения с красным диапазоном SPOT был выбран красный диапазон Landsat.
Оценка перемещения
Для вычисления смещения на уровне пикселей между исходными данными SPOT и эталонными данными Landsat использовался алгоритм ee.Image.displacement .
- Параметры поиска: для модели смещения было применено максимальное смещение 500 м и параметр жесткости, равный 5.
- Статистическая агрегация: значения дельта x ($dx$) и дельта y ($dy$), а также значения достоверности были агрегированы по всей области изображения с использованием алгоритма уменьшения среднего значения.
- Расчет величины смещения: На основе этих сводных статистических данных была рассчитана общая оценка смещения величины $M = \sqrt{dx^2 + dy^2}$, представляющая собой среднее смещение сцены.
Политика исправления
Сцены были классифицированы и скорректированы на основе рассчитанных статистических данных о смещении, чтобы определить приоритетные направления для существенных улучшений, избегая при этом появления новых артефактов:
- Автоматическая коррекция : Изображения, демонстрирующие величину смещения $M > 30$ м с показателем достоверности $C > 0,3$, были автоматически сдвинуты с использованием расчетных значений $dx$ и $dy$.
- Ручная оценка : Для сцен с очень большим расчетным смещением ($M > 100$ м), но низкой степенью достоверности ($C \le 0,3$), проводилась ручная проверка. Коррекции принимались только в том случае, если полученное совмещение демонстрировало явное улучшение по сравнению с исходным расположением.
- Исключение : Сцены, которые оставались значительно смещенными после попытки коррекции, или те, у которых было недостаточно признаков для надежного сопоставления, были исключены из мозаики.
Внедрение и контроль качества
Скорректированные изображения были повторно спроецированы с использованием метода передискретизации ближайшего соседа для сохранения исходных радиометрических значений и во избежание сглаживающего эффекта билинейной или кубической интерполяции.
Для обеспечения пространственной прослеживаемости к каждому изображению был добавлен логический coregistered канал, который сохранился в итоговой мозаике. Эти метаданные позволяют пользователям различать пиксели, подвергшиеся пространственной корректировке, и пиксели, сохранившие свое исходное положение.
Радиометрическая нормализация
Для учета различных атмосферных условий и различий в датчиках в разных наборах данных SPOT к изображениям, составляющим мозаичные продукты, была применена радиометрическая нормализация. Как визуальные, так и аналитические базовые карты используют сопоставление гистограмм с согласованной целевой базовой линией Landsat 2008 года.
В качестве эталонного источника был выбран Landsat, а не более грубые альтернативы, такие как MODIS, поскольку его разрешение в 30 метров более точно соответствует данным SPOT с разрешением от 5 до 20 метров. Это сходство гарантирует более равноправную репрезентативность спектральных гистограмм, что позволяет более точно осуществлять радиометрический перенос в процессе сопоставления. Конкретная методология этой гармонизации несколько отличается в зависимости от того, является ли конечный вариант использования визуальным или аналитическим.
Визуальная базовая карта
Для минимизации радиометрических разрывов между соседними изображениями и обеспечения практически бесшовного отображения был реализован процесс балансировки цвета с использованием сопоставления гистограмм. Значения пикселей были скорректированы в соответствии с согласованной базовой линией мозаичного изображения Landsat 2008 года.
Процесс состоит из следующих шагов:
- Маскирование анализа : Для обеспечения стабильности статистических данных при сопоставлении гистограмм создается временная маска анализа, исключающая области, которые могут исказить данные. Это маскирование нацелено на две основные характеристики:
- Области с высокими изменениями : исключаются пиксели, превышающие 95-й процентиль абсолютной разницы между изображением SPOT и эталонной мозаикой Landsat.
- Водные объекты : Высокая изменчивость отражательной способности над водными объектами исключается с использованием набора данных JRC Yearly Water Classification History. Набор данных фильтруется по 2008 году, и применяется инвертированная маска, чтобы гарантировать сохранение для статистического анализа только объектов, не являющихся водными объектами.
- Генерация таблицы поиска (LUT) : Используя замаскированные данные, рассчитываются кумулятивные гистограммы как для исходных полос SPOT, так и для целевых полос Landsat.
- Интерполяция : значения пикселей источника преобразуются в целевые значения с использованием сгенерированной таблицы поиска (LUT), выравнивая радиометрический профиль данных SPOT с эталонным значением Landsat 2008 года.
Аналитическая базовая карта
Обработка аналитической базовой карты аналогична обработке визуальной базовой карты, но включает преобразование значений DN в коэффициент отражения на верхней границе атмосферы:
1. Преобразование коэффициента отражения на верхней границе атмосферы (TOA).
Исходные цифровые значения (DN) датчика SPOT преобразуются в коэффициент отражения на верхней границе атмосферы (TOA) с учетом физических свойств датчика и геометрии Солнца:
- Расчет яркости излучения : Применение метаданных физического усиления и смещения, специфичных для данного диапазона частот, предоставленных поставщиком.
- Нормализация отражательной способности : яркость нормализуется относительно солнечной радиации, косинуса зенитного угла Солнца и расстояния Земля-Солнце для конкретного дня съемки.
2. Сопоставление гистограмм
Для дальнейшего минимизирования радиометрических различий между различными изображениями SPOT применяется алгоритм сопоставления гистограмм:
Маскирование при анализе : На этом этапе используется точно такое же маскирование при анализе, как описано в разделе «Визуальная базовая карта» выше: исключение пикселей с изменением >95-го процентиля и фильтрация пикселей воды с помощью инвертированной маски классификации JRC 2008 года.
Гармонизация : Аналогично визуальной базовой карте, значения пикселей пересчитываются с помощью таблицы соответствия для выравнивания радиометрического профиля с эталонным значением времени прихода сигнала Landsat. Это обеспечивает радиометрическую согласованность в масштабах всей мозаики для обучения крупномасштабных моделей машинного обучения и получения надежных результатов.
Ограничения и известные проблемы
Хотя G-BFID v1.0 обеспечивает базовое изображение высокого разрешения, соответствующее уровню 2008 года, пользователям следует помнить о ряде ограничений, присущих историческому архиву SPOT и используемым методам обработки.
Пространственная полнота и пробелы
Базовые карты не обеспечивают 100% географического охвата Бразилии. Пробелы существуют там, где ни одно изображение не соответствовало строгим временным рамкам проекта (2008 год, 2007–2009 годы), пороговым значениям облачности или стандартам качества. Эти пробелы наиболее часто встречаются в регионах с постоянной облачностью или более низкой исторической частотой спутниковых снимков. Подробности см. в разделе « Географический охват и пробелы» .
Переменное собственное разрешение
Хотя конечные продукты поставляются с номинальным размером пикселя 5 метров (визуальный режим) и 10 метров (аналитический режим), исходные изображения представляют собой смесь пикселей размером 5 м, 10 м и 20 м. Поскольку для сохранения спектральной целостности использовалась передискретизация методом ближайшего соседа, границы между различными разрешениями могут быть видны.
Остаточная несовпадение
Несмотря на автоматизированный процесс совмещения изображений, в некоторых областях могут сохраняться пространственные смещения. Остаточные ошибки совмещения наиболее вероятны в регионах с экстремальным рельефом или в густых однородных лесных массивах, где алгоритму не хватало достаточного количества ориентиров для расчета векторов смещения с высокой степенью достоверности.
Атмосферные и облачные артефакты
Процесс ручного маскирования облаков был намеренно консервативным и агрессивным; однако он не является исчерпывающим. Пользователи могут столкнуться с отдельными остаточными артефактами, такими как очень тонкая перистая дымка или небольшие тени от облаков.
Радиометрическая несогласованность и производительность машинного обучения
Хотя для минимизации радиометрических разрывов использовалось сопоставление гистограмм, между соседними изображениями сохраняется остаточная спектральная изменчивость. Для автоматической классификации типов землепользования или приложений машинного обучения эта изменчивость увеличивает спектральную дисперсию для данного типа землепользования по всей мозаике. Такой более широкий диапазон данных может снизить точность разделения классов во время вывода, потенциально приводя к более высоким показателям ошибок.
Спектральное насыщение
В областях с экстремальной яркостью — таких как сильно отражающие поверхности в городской среде, определенные типы почвы или яркий песок — пиксели могут достигать максимального предела обнаружения сенсора. Это «насыщение» приводит к потере текстуры и детализации в этих конкретных местах.
Измененные соотношения полос и индексы растительности
Для получения практически бесшовного мозаичного изображения к каждому спектральному диапазону применялось сопоставление гистограмм , что неизбежно изменяет исходные физические соотношения между диапазонами. В результате расчет распространенных индексов, таких как NDVI или других показателей соотношения диапазонов, даст значения, отличающиеся от значений в неизмененных исходных наборах данных. Хотя эти производные индексы могут по-прежнему отражать относительные пространственные закономерности в мозаичном изображении, их не следует использовать в абсолютных целях, для сравнения данных с разных датчиков или для анализа, основанного на жестких пороговых значениях индексов.