Earth Engine के कोटा

कोटा के टाइप

Earth Engine प्लैटफ़ॉर्म पर, कोटा की कई सीमाएं लागू की गई हैं. इससे यह पक्का किया जाता है कि उपयोगकर्ताओं के बीच संसाधनों का बंटवारा सही तरीके से हो. Earth Engine में कई तरह के रिसॉर्स उपलब्ध हैं. जैसे, कंप्यूटेशन, स्टोरेज वगैरह. इसलिए, कोटा की सीमाएं भी कई तरह की होती हैं.

अलग-अलग तरह के कोटे के बीच मुख्य अंतर यह है कि उन्हें घटाया या बढ़ाया जा सकता है या नहीं. कुछ तरह के कोटे के लिए, हम हर उपयोगकर्ता या हर प्रोजेक्ट के हिसाब से सीमाएं बदल सकते हैं. वहीं, अन्य तरह के कोटे के लिए, सिस्टम-वाइड सीमाएं होती हैं जिन्हें बदला नहीं जा सकता.

कोटा की सीमाओं को घटाया या बढ़ाया जा सकता है

नीचे दी गई सीमाएं, हर प्रोजेक्ट के हिसाब से बदली जा सकती हैं. अतिरिक्त कोटा का अनुरोध करने का तरीका जानने के लिए, सहायता पेज देखें.

कोटा टाइप डिफ़ॉल्ट वैल्यू (हर प्रोजेक्ट के लिए)
एक साथ किए जाने वाले ज़्यादा से ज़्यादा अनुरोध (स्टैंडर्ड एंडपॉइंट) एक साथ किए जाने वाले 40 अनुरोध
एक साथ किए जाने वाले ज़्यादा से ज़्यादा अनुरोध (ज़्यादा वॉल्यूम वाला एंडपॉइंट) एक साथ किए जाने वाले 40 अनुरोध
अनुरोधों की ज़्यादा से ज़्यादा दर (हर प्रोजेक्ट के लिए) 100 अनुरोध/सेकंड (6,000 अनुरोध/मिनट)
अनुरोधों की ज़्यादा से ज़्यादा दर (हर खाते के लिए) 100 अनुरोध/सेकंड (6,000 अनुरोध/मिनट)
एक साथ बैच टास्क करने वाले लोगों की औसत संख्या औसतन दो टास्क
ऐसेट के लिए ज़्यादा से ज़्यादा स्टोरेज 250 जीबी
ऐसेट की ज़्यादा से ज़्यादा संख्या 10,000
Earth Engine के कंप्यूटेशन में हर दिन लगने वाला समय (EECU-टाइम), सेकंड में अनलिमिटेड

एक साथ कई इंटरैक्टिव अनुरोध

हर प्रोजेक्ट, कोटा की सीमा तक एक साथ इंटरैक्टिव अनुरोध कर सकता है. अगर सीमा पार हो जाती है, तो Earth Engine "HTTP 429: बहुत ज़्यादा अनुरोध किए गए" गड़बड़ियां दिखाएगा. आम तौर पर, इन गड़बड़ियों को Earth Engine की क्लाइंट लाइब्रेरी ठीक करती है. यह लाइब्रेरी, अनुरोधों को एक्सपोनेंशियल बैकऑफ़ में रैप करती है और क्वेरी के पूरा होने तक उसे फिर से आज़माती है. Earth Engine क्लाइंट लाइब्रेरी, अनुरोध को पांच बार तक फिर से भेजेगी.

429 गड़बड़ियों से बचने के लिए, अपने ऐप्लिकेशन के लिए कैश मेमोरी की सुविधा चालू करें. उदाहरण के लिए, memcache का इस्तेमाल करें, ताकि जब भी हो सके, बार-बार की जाने वाली क्वेरी से बचा जा सके. अगर Earth Engine की क्लाइंट लाइब्रेरी के किसी ऐसे पुराने वर्शन का इस्तेमाल किया जा रहा है जो क्वेरी को अपने-आप फिर से नहीं भेजता है या पांच बार फिर से भेजने के बाद भी क्वेरी पूरी नहीं होती है, तो आपको अनुरोधों के लिए एक्सपोनेंशियल बैकऑफ़ लागू करना पड़ सकता है.

अनुरोधों की दर (क्यूपीएस)

एक साथ किए जाने वाले अनुरोधों की सीमाओं के अलावा, Earth Engine, प्रोजेक्ट और उपयोगकर्ता लेवल पर इंटरैक्टिव अनुरोधों की दर को सीमित करता है. इन सेटिंग को Cloud Console में अडजस्ट किया जा सकता है

एक साथ कई बैच टास्क

बैच टास्क में, एक साथ कई काम करने की सुविधा सीमित होती है. ऐसा इसलिए, क्योंकि ये इंटरैक्टिव अनुरोधों की तुलना में ज़्यादा संसाधनों का इस्तेमाल करते हैं.

Earth Engine का इस्तेमाल गैर-व्यावसायिक तौर पर करने पर, एक साथ चलाए जा सकने वाले बैच टास्क की ज़्यादा से ज़्यादा संख्या डिफ़ॉल्ट रूप से सेट होती है. हालांकि, अगर आपको कोटा बढ़ाने की अनुमति मिली है, तो यह संख्या अलग हो सकती है.

Earth Engine का व्यावसायिक इस्तेमाल करते समय, एक साथ चलाए जा सकने वाले बैच टास्क की ज़्यादा से ज़्यादा संख्या, कीमत के प्लान के हिसाब से तय होती है. हालांकि, हर प्रोजेक्ट के लिए बैच टास्क को एक साथ चलाने की सीमा सेट करके, इसे और कम किया जा सकता है. डिफ़ॉल्ट रूप से, किसी प्रोजेक्ट पर बैच टास्क की एक साथ चलने की सीमा, प्रोजेक्ट के बिलिंग खाते पर कॉन्फ़िगर किए गए पेमेंट प्लान के हिसाब से तय होती है. किसी प्रोजेक्ट के लिए यह सीमा देखने या अपडेट करने के लिए, कमांड लाइन टूल का दस्तावेज़ देखें.

ऐसेट स्टोरेज कोटा

हर Earth Engine ऐसेट के लिए, डेटा स्टोरेज का साइज़ होता है. इसे बाइट में मापा जाता है. ऐसेट का मालिकाना हक Cloud प्रोजेक्ट या व्यक्तियों (लेगसी ऐसेट) के पास हो सकता है. हर ऐसेट को, उसके मालिक के Earth Engine खाते में कुल स्टोरेज और ऐसेट की संख्या की सीमा के हिसाब से गिना जाता है.

हर दिन ईईसीयू-टाइम

अगर आपको लागत कंट्रोल करनी है, तो आपके पास यह तय करने का विकल्प होता है कि कोई प्रोजेक्ट, Earth Engine पर हर दिन कितना ईईसीयू-टाइम इस्तेमाल कर सकता है. डिफ़ॉल्ट रूप से, यह कोटा असीमित होता है. कोटा एडमिन, earthengine.googleapis.com/daily_eecu_usage_time कोटा मेट्रिक के लिए फ़िल्टर करके, Cloud Console में यह सीमा सेट कर सकते हैं. यह कोटा सेट होने के बाद, किसी प्रोजेक्ट में सभी उपयोगकर्ताओं के Earth Engine के अनुरोधों को पूरा करने में लगने वाले ईईसीयू-टाइम को इकट्ठा करता है. कोटा खत्म होने पर, अनुरोध तब तक पूरे नहीं किए जाएंगे, जब तक कि अगले दिन कोटा रीसेट न हो जाए या सीमा न बढ़ जाए. इस कोटे को सेट करने के बारे में ज़्यादा जानकारी के लिए, लागत पर कंट्रोल रखने से जुड़ी गाइड देखें.

तय की गई सीमाएं

इस तरह की कोटा सीमाएं, प्लैटफ़ॉर्म लेवल पर सेट की जाती हैं. इसलिए, इन्हें हर उपयोगकर्ता या हर प्रोजेक्ट के हिसाब से एडजस्ट नहीं किया जा सकता. इनमें समय के साथ ज़्यादा बदलाव नहीं होता.

कैलकुलेशन में लगने वाला समय

अलग-अलग तरह के अनुरोधों को पूरा होने में अलग-अलग समय लगता है. इसके बारे में ज़्यादा जानकारी प्रोसेसिंग एनवायरमेंट के दस्तावेज़ में दी गई है.

टाइम आउट से जुड़ी गड़बड़ियों को ठीक करने के लिए, डीबग करने से जुड़ी गाइड देखें.

हर अनुरोध के लिए मेमोरी फ़ुटप्रिंट

अगर "उपयोगकर्ता की मेमोरी की सीमा पार हो गई है" मैसेज के साथ अनुरोध पूरा नहीं होता है, तो इसका मतलब है कि Earth Engine, मेमोरी के तय किए गए फ़ुटप्रिंट के अंदर जवाब नहीं दे सका. EE के कंप्यूटेशन प्लैटफ़ॉर्म पर सीमित मात्रा में रैम उपलब्ध होती है. सिस्टम को स्थिर रखने के लिए, हर अनुरोध में सिर्फ़ एक तय मात्रा में रैम का इस्तेमाल किया जा सकता है. उपलब्ध मेमोरी की ज़्यादा से ज़्यादा मात्रा, अनुरोध के टाइप पर निर्भर करती है.उदाहरण के लिए, बैच टास्क के लिए मैप टाइल की तुलना में ज़्यादा मेमोरी उपलब्ध होती है. हालांकि, ये सीमाएं पूरे सिस्टम पर लागू होती हैं.

मेमोरी की गड़बड़ियों को ठीक करने के लिए, डीबग करने से जुड़ी गाइड देखें.

एग्रीगेशन

Earth Engine के अनुरोधों को प्रोसेस करते समय, हम कुछ तरह की सब-कैलकुलेशन को अलग कर देते हैं. हमें पता है कि इन्हें कंप्यूट करने में बहुत समय लगता है. इन उप-गणनाओं को "एग्रीगेशन" कहा जाता है. इन्हें ईई सिस्टम में खास तौर पर हैंडल किया जाता है. एग्रीगेशन के नतीजों को कैश मेमोरी में सेव किया जाता है, ताकि उन्हें फिर से कैलकुलेट न करना पड़े.

एक साथ कई एग्रीगेशन

कंप्यूटेशनल फ़ैनआउट को कंट्रोल करने के लिए, हम यह तय करते हैं कि कोई उपयोगकर्ता एक साथ कितने एग्रीगेशन चला सकता है. इस संख्या को बदला नहीं जा सकता. अगर "एक साथ बहुत ज़्यादा एग्रीगेशन" की वजह से कोई अनुरोध पूरा नहीं हो पाता है, तो इसका मतलब है कि अनुरोध करने वाले व्यक्ति ने एक साथ बहुत ज़्यादा एग्रीगेशन किए हैं.

एक साथ एग्रीगेशन करने से जुड़ी गड़बड़ियों को ठीक करने के लिए, डीबग करने से जुड़ी गाइड देखें.

एग्रीगेशन के बड़े नतीजे

जब "कैलकुलेट की गई वैल्यू बहुत बड़ी है" मैसेज के साथ अनुरोध पूरा नहीं होता है, तो इसका मतलब है कि एग्रीगेशन ने ऐसा नतीजा दिखाया है जो हमारी कैश मेमोरी में फ़िट नहीं हो सकता. कंप्यूट किए गए नतीजों का साइज़ 100 एमबी से ज़्यादा नहीं होना चाहिए. यह सीमा, पूरे सिस्टम के लिए लागू होती है.

टेबल इंपोर्ट करने की सीमाएं

टेबल अपलोड करने की सीमाओं के बारे में, टेबल का डेटा इंपोर्ट करने से जुड़ी गाइड में बताया गया है.

अनुरोध के पेलोड का साइज़

Earth Engine को भेजी जाने वाली एक क्वेरी का साइज़ 10 एमबी से ज़्यादा नहीं होना चाहिए. आम तौर पर, यह सीमा तब ही पार होती है, जब क्वेरी में सीधे तौर पर कोई बड़ा अतिरिक्त डेटा शामिल किया जाता है. जैसे, क्वेरी में इनलाइन किया गया शेपफ़ाइल या GeoJSON स्ट्रक्चर. इन ऑब्जेक्ट को अपलोड करके, FeatureCollection ऐसेट में बदला जाना चाहिए. साथ ही, ऐसेट आईडी से रेफ़रंस दिया जाना चाहिए.

टास्क की सूची में एलिमेंट की संख्या

शेड्यूल किए जाने के इंतज़ार में मौजूद टास्क (READY स्थिति में) "टास्क कतार" बनाते हैं. हर प्रोजेक्ट की कतार में ज़्यादा से ज़्यादा 3,000 टास्क शामिल किए जा सकते हैं. इसका मतलब है कि READY स्थिति में 3,000 से ज़्यादा टास्क नहीं हो सकते.

BigQuery के रास्टर फ़ंक्शन के कोटे की सीमाएं

BigQuery से Earth Engine को कॉल करने पर, ये कोटा लागू होते हैं. जैसे, ST_REGIONSTATS SQL फ़ंक्शन का इस्तेमाल करते समय.

कोटा टाइप डिफ़ॉल्ट वैल्यू (हर प्रोजेक्ट के लिए)
हर दिन के हिसाब से BigQuery स्लॉट-टाइम 12,60,000 स्लॉट-सेकंड (350 स्लॉट-घंटे)

हर दिन के हिसाब से BigQuery स्लॉट-टाइम

BigQuery के स्लॉट-टाइम का रोज़ाना का कोटा, एक कस्टम कोटा होता है. इसकी मदद से, किसी प्रोजेक्ट के लिए यह तय किया जा सकता है कि BigQuery के रास्टर फ़ंक्शन, Earth Engine पर एक दिन में कितना स्लॉट-टाइम इस्तेमाल कर सकते हैं. रोज़ाना के कोटे में, सभी क्वेरी में लगा कुल समय शामिल होता है. भले ही, वे क्वेरी पूरी न हो पाई हों. Cloud Console में earthengine.googleapis.com/bigquery_slot_usage_time मेट्रिक में जाकर, कोटे को देखा जा सकता है. साथ ही, कोटे के एडमिन के पास कोटे की वैल्यू को कम या ज़्यादा करने का विकल्प होता है. डिफ़ॉल्ट वैल्यू से ज़्यादा वैल्यू सेट करने के लिए, कोटा बढ़ाने का अनुरोध करें. इसे अपने-आप मंज़ूरी मिल जाएगी. बदलाव को लागू होने में 10 मिनट लग सकते हैं.

अगर आपने इस कोटे का इस्तेमाल तय सीमा से ज़्यादा किया है, तो BigQuery गड़बड़ी का यह मैसेज दिखाएगा:

From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for'earthengine.googleapis.com/bigquery_slot_usage_time', which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.

कोटा खत्म होने के बाद, ST_REGIONSTATS कॉल तब तक नहीं किए जा सकेंगे, जब तक कि अगले दिन कोटा रीसेट न हो जाए या एडमिन सीमा न बढ़ा दे.