Виды квот
Платформа Earth Engine имеет ряд квотных ограничений, чтобы гарантировать справедливое распределение ресурсов среди пользователей. Поскольку в Earth Engine доступно много разных типов ресурсов (вычисления, хранение и т. д.), существует много разных типов квотных ограничений.
Основное различие между разными типами квот заключается в том, являются ли они регулируемыми. Для некоторых типов квот мы можем изменять лимиты на уровне пользователя или проекта, в то время как другие типы являются общесистемными лимитами, которые нельзя изменить.
Регулируемые квотные лимиты
Следующие лимиты могут быть скорректированы для каждого проекта. Смотрите страницу справки , как запросить дополнительную квоту.
| Тип квоты | Значение по умолчанию (для проекта) |
|---|---|
| Максимальное количество одновременных запросов (стандартная конечная точка) | 40 одновременных запросов |
| Максимальное количество одновременных запросов (конечная точка с большим объемом данных) | 40 одновременных запросов |
| Максимальное количество запросов (на проект) | 100 запросов/с (6000 запросов/мин) |
| Максимальная скорость запросов (на аккаунт) | 100 запросов/с (6000 запросов/мин) |
| Среднее количество одновременных пакетных задач | 2 задачи (в среднем) |
| Максимальное пространство для хранения активов | 250 ГБ |
| Максимальное количество активов | 10,000 |
Одновременные интерактивные запросы
Каждый проект может выполнять интерактивные запросы параллельно, до предела квоты. Если предел превышен, Earth Engine вернет ошибки "HTTP 429: Too Many Requests" . Обычно эти ошибки обрабатываются клиентской библиотекой Earth Engine, которая оборачивает запросы в экспоненциальную задержку, повторяя запрос до тех пор, пока он не будет успешно выполнен. Клиентская библиотека Earth Engine будет повторять запрос до пяти раз.
Чтобы избежать получения этих ошибок 429, вы можете включить кэширование для своего приложения, например, с помощью memcache, чтобы избежать избыточных запросов, когда это возможно. Если вы используете старую версию клиентской библиотеки Earth Engine, которая не повторяет запросы автоматически, или если запрос все еще не завершен после пяти повторных попыток, вам может потребоваться реализовать экспоненциальную задержку вокруг запросов.
Скорость запросов (QPS)
В дополнение к ограничениям параллелизма , Earth Engine ограничивает скорость интерактивных запросов на уровне проекта и пользователя. Эти настройки можно настроить в Cloud Console
Параллельные пакетные задачи
Пакетные задачи ограничены небольшим количеством параллелизма, поскольку они используют больше ресурсов, чем интерактивные запросы .
При некоммерческом использовании Earth Engine максимальное количество пакетных задач, которые вы можете запустить одновременно, устанавливается на значение по умолчанию, если вам не предоставлено увеличение квоты .
При коммерческом использовании Earth Engine максимальное количество пакетных задач, которые вы можете запустить одновременно, определяется тарифным планом , хотя его можно дополнительно снизить, установив ограничение на параллелизм пакетных задач для каждого проекта. По умолчанию ограничение на параллелизм пакетных задач для проекта установлено на максимально допустимом уровне, разрешенном тарифным планом, настроенным в учетной записи выставления счетов проекта. Чтобы просмотреть или обновить это ограничение для проекта, см. документацию по инструменту командной строки .
Квота на хранение активов
Каждый актив Earth Engine имеет соответствующий размер хранилища данных, измеряемый в байтах. Активы могут принадлежать Cloud Projects или отдельным лицам (устаревшие активы), и каждый актив учитывается в лимите Earth Engine его владельца по общему объему хранилища и количеству активов.
Пользовательские места
При коммерческом использовании Earth Engine каждый уровень подписки подразумевает определенное количество пользовательских мест, хотя также можно приобрести несколько дополнительных мест.
Администраторы сервиса должны приобрести определенное количество рабочих мест, чтобы удовлетворить потребности пользователей Code Editor в рамках заданного платежного цикла.
Часто задаваемые вопросы
В: Кто учитывается при подсчете мест?
A: В ограничение по количеству мест включаются только отдельные пользователи, которые используют вычисления Earth Engine с помощью редактора кода (просматривают фрагменты карты, отправляют запросы на вычисления и т. д.).
В: Что делать, если пользователи меняются от месяца к месяцу?
A: Места не выделяются конкретным лицам - это не именованные слоты. Пока вы не превысите количество в данном месяце, индивидуальные личности пользователей не имеют значения.
В: А как насчет учетных записей служб?
A: Учетные записи служб освобождены от подсчета мест. Они не считаются пользователями-людьми, выполняющими вычисления.
В: А как насчет пользователей, получающих доступ к Earth Engine через Python?
A: Пользователи, которые получают доступ к Earth Engine только через API Python и не используют редактор кода, не учитываются в использовании места. Количество мест привязано к использованию редактора кода.
В: Где подсчитываются места?
A: Количество мест применяется на уровне учетной записи выставления счетов. Все пользователи-люди в вашей организации, которые используют редактор кода, вносят вклад в общее количество мест для вашей учетной записи выставления счетов.
В: Что произойдет, если мы превысим лимит мест?
О: Мы отслеживаем систематические нарушения и применяем лимиты на уровне платежного аккаунта.
В: Как мне приобрести больше или меньше мест?
A: Подробную информацию смотрите на странице цен на Earth Engine .
Фиксированные квотные лимиты
Эти типы квотных лимитов устанавливаются на уровне платформы, поэтому их нельзя корректировать на основе пользователя или проекта. Они вряд ли будут существенно меняться с течением времени.
Время вычисления
Различные типы запросов имеют разную максимальную продолжительность, которая подробно описана в документации по средам обработки .
Для получения помощи по устранению ошибок тайм-аута см. руководство по отладке .
Объем памяти на запрос
Если запрос завершается ошибкой «Превышен лимит памяти пользователя», это означает, что Earth Engine не смог вычислить ответ в пределах разрешенного объема памяти. Платформа вычислений EE имеет ограниченный объем доступной оперативной памяти, и для обеспечения стабильности системы каждый запрос может использовать только определенный объем. Максимальный объем доступной памяти зависит от типа запроса (например, больше для пакетной задачи, чем для фрагмента карты), но это общесистемные ограничения.
Для получения помощи по исправлению ошибок памяти см. руководство по отладке .
Агрегации
При обработке запросов Earth Engine мы отделяем определенные типы подвычислений, которые, как мы знаем, являются вычислительно интенсивными. Эти подвычисления называются «агрегациями», и они обрабатываются особым образом в системе EE. Результаты агрегаций кэшируются, чтобы избежать повторных вычислений.
Одновременные агрегации
Чтобы избежать неконтролируемого вычислительного разветвления, мы ограничиваем количество агрегаций, которые может запустить отдельный пользователь одновременно, и это неизменяемо. Когда запрос завершается ошибкой «Слишком много параллельных агрегаций», это означает, что у запрашивающего было запущено слишком много агрегаций одновременно.
Информацию об исправлении ошибок параллельной агрегации см. в руководстве по отладке .
Результаты большой агрегации
Если запрос завершается ошибкой "Computed value too large", это означает, что агрегация вернула результат, который слишком велик для того, чтобы поместиться в наш кэш. Ограничение по размеру вычисляемых результатов составляет 100 МиБ, и это ограничение действует на всю систему.
Ограничения импорта таблиц
Ограничения на загрузку таблиц описаны в руководстве по импорту табличных данных .
Запросить размер полезной нагрузки
Один запрос к Earth Engine ограничен размером 10 МБ. Этот предел обычно превышается только тогда, когда в запрос напрямую включается большой фрагмент дополнительных данных, например, шейп-файл или структура GeoJSON, встроенная в запрос. Вместо этого эти объекты следует загрузить и превратить в актив FeatureCollection, на который ссылается идентификатор актива.
Длина очереди задач
Задачи, ожидающие планирования (в состоянии READY ), образуют «очередь задач». Очередь каждого проекта поддерживает максимум 3000 задач. Это означает, что невозможно иметь более 3000 задач в состоянии READY .
Ограничения квот растровых функций BigQuery
Следующие квоты применяются к вызовам Earth Engine из BigQuery, например, при использовании функции SQL ST_REGIONSTATS .
| Тип квоты | Значение по умолчанию (для проекта) |
|---|---|
| BigQuery слот-время в день | 1 260 000 слот-секунд (350 слот-часов) |
BigQuery слот-время в день
Квота слота BigQuery на день — это настраиваемая квота, которая позволяет вам ограничивать количество слота, которое растровым функциям BigQuery разрешено потреблять в Earth Engine в определенный день для определенного проекта. Ежедневная квота накапливает общее время по всем запросам, даже тем, которые не были выполнены. Вы можете просмотреть квоту в Cloud Console в метрике earthengine.googleapis.com/bigquery_slot_usage_time , и значение может быть скорректировано вверх или вниз администратором квоты. Чтобы увеличить значение выше значения по умолчанию, создайте запрос на увеличение квоты , который будет автоматически одобрен. Изменение должно вступить в силу в течение 10 минут.
Если вы превысите эту квоту, BigQuery вернет следующее сообщение об ошибке:
From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for 'earthengine.googleapis.com/bigquery_slot_usage_time', which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.
После превышения квоты вызовы ST_REGIONSTATS будут завершаться сбоем до тех пор, пока квота не будет сброшена на следующий день или пока администратор не увеличит лимит.