Rodzaje limitów
Platforma Earth Engine ma kilka limitów, które zapewniają sprawiedliwy podział zasobów między użytkowników. W Earth Engine dostępnych jest wiele różnych typów zasobów (obliczenia, miejsce na dane itp.), dlatego istnieje wiele różnych rodzajów limitów.
Podstawowa różnica między różnymi typami limitów polega na tym, czy można je dostosować. W przypadku niektórych typów limitów możemy zmieniać limity dla poszczególnych użytkowników lub projektów, a inne typy to limity systemowe, których nie można zmienić.
Limity, które można dostosować
Obowiązują te limity na poziomie projektu.
| Typ limitu | Wartość domyślna (na projekt) |
|---|---|
| Maksymalna liczba równoczesnych żądań (standardowy punkt końcowy) | 40 równoczesnych żądań |
| Maksymalna liczba równoczesnych żądań (punkt końcowy o dużej liczbie żądań) | 40 równoczesnych żądań |
| Maksymalna częstotliwość żądań (na projekt) | 100 żądań/s (6000 żądań/min) |
| Maksymalna częstotliwość żądań (na konto) | 100 żądań/s (6000 żądań/min) |
| Średnia liczba równoczesnych zadań zbiorczych | 2 zadania (średnio) |
| Maksymalna ilość miejsca na dane zasobów | 250 GB |
| Maksymalna liczba zasobów | 10 000 |
| Czas obliczeniowy Earth Engine (EECU-time) dziennie w sekundach | Bez ograniczeń |
Równoczesne żądania interaktywne
Każdy projekt może wysyłać równolegle interaktywne żądania do limitu. Jeśli limit zostanie przekroczony, Earth Engine zwróci błędy „HTTP 429: Too Many Requests”. Zazwyczaj te błędy są obsługiwane przez bibliotekę klienta Earth Engine, która otacza żądania wzrastającym czasem do ponowienia i ponawia zapytanie, aż się powiedzie. Biblioteka klienta Earth Engine ponowi żądanie maksymalnie 5 razy.
Aby uniknąć otrzymywania tych błędów 429, możesz włączyć buforowanie w aplikacji, na przykład za pomocą memcache, aby w miarę możliwości unikać zbędnych zapytań. Jeśli używasz starszej wersji biblioteki klienta Earth Engine, która nie ponawia zapytań automatycznie, lub jeśli zapytanie nadal nie zostanie ukończone po pięciu ponowieniach, może być konieczne wdrożenie wzrastającego czasu do ponowienia wokół żądań.
Częstotliwość żądań (QPS)
Oprócz limitów równoczesności Earth Engine ogranicza częstotliwość interaktywnych żądań na poziomie projektu i użytkownika. Te ustawienia można zmienić w Cloud Console.
Równoczesne zadania zbiorcze
Zadania zbiorcze są ograniczone do niewielkiej liczby równoległych zadań, ponieważ zużywają więcej zasobów niż żądania interaktywne.
W przypadku niekomercyjnego korzystania z Earth Engine maksymalna liczba zadań zbiorczych, które można uruchomić równocześnie, jest określana przez poziom niekomercyjny.
W przypadku komercyjnego korzystania z Earth Engine maksymalna liczba zadań zbiorczych, które można uruchomić równocześnie, jest określana przez plan cenowy, ale można ją dodatkowo zmniejszyć, ustawiając limit równoczesności zadań zbiorczych na projekt. Domyślnie limit równoczesności zadań zbiorczych w projekcie jest ustawiony na maksymalną wartość dozwoloną przez plan płatności skonfigurowany na koncie rozliczeniowym projektu. Aby wyświetlić lub zaktualizować ten limit w projekcie, zapoznaj się z dokumentacją narzędzia wiersza poleceń tool.
Limit miejsca na dane zasobów
Każdy zasób Earth Engine ma odpowiadający mu rozmiar miejsca na dane mierzony w bajtach. Zasoby mogą należeć do projektów w chmurze lub do osób (starsze zasoby), a każdy zasób jest wliczany do limitu Earth Engine właściciela dotyczącego ogólnego miejsca na dane i liczby zasobów.
Aby poprosić o dodatkowy limit miejsca na dane zasobów do użytku niekomercyjnego lub badawczego, zapoznaj się z sekcją Użycie niekomercyjne lub badawcze.
Czas EECU dziennie
Jeśli chcesz kontrolować koszty, możesz ograniczyć ilość czasu EECU, jaką projekt może wykorzystać w Earth Engine dziennie. Domyślnie ten limit jest nieograniczony. Administratorzy limitów mogą ustawić ten limit w Cloud
Console
filtrując według wskaźnika limitu earthengine.googleapis.com/daily_eecu_usage_time. Po ustawieniu tego limitu gromadzi on czas EECU zużyty przez udane żądania Earth Engine wszystkich użytkowników w projekcie. Po przekroczeniu limitu żądania będą kończyć się niepowodzeniem, dopóki limit nie zostanie zresetowany następnego dnia lub nie zostanie zwiększony. Więcej informacji o ustawianiu tego limitu znajdziesz w przewodniku po kontroli kosztów.
Stałe limity
Te typy limitów są ustawiane na poziomie platformy, więc nie można ich dostosować dla poszczególnych użytkowników ani projektów. Z czasem prawdopodobnie nie ulegną znacznym zmianom.
Czas obliczeniowy
Różne typy żądań mają różne maksymalne czasy trwania, które są szczegółowo opisane w dokumentacji Środowiska przetwarzania.
Jeśli potrzebujesz pomocy w naprawieniu błędów przekroczenia limitu czasu, zapoznaj się z przewodnikiem po debugowaniu.
Wykorzystanie pamięci na żądanie
Jeśli żądanie zakończy się niepowodzeniem z powodu przekroczenia limitu pamięci użytkownika, oznacza to, że Earth Engine nie był w stanie obliczyć odpowiedzi w ramach dozwolonego wykorzystania pamięci. Platforma obliczeniowa EE ma ograniczoną ilość dostępnej pamięci RAM, a aby zapewnić stabilność systemu, każde żądanie może używać tylko określonej ilości. Maksymalna ilość dostępnej pamięci zależy od typu żądania (np. więcej w przypadku zadania zbiorczego niż w przypadku kafelka mapy), ale są to limity systemowe.
Jeśli potrzebujesz pomocy w naprawieniu błędów pamięci, zapoznaj się z przewodnikiem po debugowaniu.
Agregacje
Podczas przetwarzania żądań Earth Engine oddzielamy niektóre typy obliczeń podrzędnych, które są wymagające obliczeniowo. Te obliczenia podrzędne są nazywane „agregacjami” i są obsługiwane w systemie EE w specjalny sposób. Wyniki agregacji są buforowane, aby uniknąć ponownego obliczania.
Równoczesne agregacje
Aby uniknąć niekontrolowanego zwielokrotnienia obliczeniowego, ograniczamy liczbę agregacji, które poszczególni użytkownicy mogą uruchamiać równocześnie, i nie można tego zmienić. Jeśli żądanie zakończy się niepowodzeniem z powodu zbyt dużej liczby równoczesnych agregacji, oznacza to, że zgłaszający miał zbyt wiele agregacji uruchomionych w tym samym czasie.
Jeśli potrzebujesz pomocy w naprawieniu błędów równoczesnych agregacji, zapoznaj się z przewodnikiem po debugowaniu.
Duże wyniki agregacji
Jeśli żądanie zakończy się niepowodzeniem z powodu zbyt dużej wartości obliczonej, oznacza to, że agregacja zwróciła wynik, który jest zbyt duży, aby zmieścić się w naszej pamięci podręcznej. Limit rozmiaru obliczonych wyników wynosi 100 MiB i jest to limit systemowy.
Limity importu tabel
Limity przesyłania tabel są opisane w przewodniku po importowaniu danych tabel danych.
Rozmiar ładunku żądania
Pojedyncze zapytanie do Earth Engine jest ograniczone do 10 MB. Ten limit jest zwykle przekraczany tylko wtedy, gdy w zapytaniu jest bezpośrednio uwzględniony duży fragment dodatkowych danych, np. plik kształtu lub struktura GeoJSON, która została wstawiona do zapytania. Zamiast tego te obiekty należy przesłać i przekształcić w zasób FeatureCollection, a następnie odwoływać się do nich za pomocą identyfikatora zasobu.
Długość kolejki zadań
Zadania, które czekają na zaplanowanie (w stanie READY), tworzą „kolejkę zadań”. Kolejka każdego projektu obsługuje maksymalnie 3000 zadań. Oznacza to,że nie można mieć więcej niż 3000 zadań w stanie READY.
Limity funkcji rastrowych BigQuery
Te limity dotyczą wywołań Earth Engine z BigQuery, np. podczas
używania
ST_REGIONSTATS
funkcji SQL.
| Typ limitu | Wartość domyślna (na projekt) |
|---|---|
| Czas przedziału BigQuery dziennie | 1 260 000 sekund przedziału (350 godzin przedziału) |
Czas przedziału BigQuery dziennie
Limit czasu przedziału BigQuery dziennie to limit niestandardowy, który pozwala ograniczyć ilość czasu przedziału, jaką funkcje rastrowe BigQuery mogą wykorzystać w Earth Engine w danym dniu w danym projekcie. Limit dzienny obejmuje łączny czas wszystkich zapytań, nawet tych, które się nie powiodły. Limit możesz wyświetlić w
Cloud Console
we wskaźniku earthengine.googleapis.com/bigquery_slot_usage_time, a
administrator limitów może dostosować jego wartość. Aby zwiększyć wartość
powyżej wartości domyślnej, utwórz prośbę o zwiększenie limitu
request,
która zostanie automatycznie zatwierdzona. Zmiana powinna zacząć obowiązywać w ciągu 10 minut.
Jeśli przekroczysz ten limit, BigQuery zwróci ten komunikat o błędzie:
From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for'earthengine.googleapis.com/bigquery_slot_usage_time', which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.
Po przekroczeniu limitu wywołania ST_REGIONSTATS będą kończyć się niepowodzeniem, dopóki limit nie zostanie zresetowany następnego dnia lub nie zostanie zwiększony przez administratora.