Earth Engine के कोटा

कोटा के टाइप

Earth Engine प्लैटफ़ॉर्म पर, कोटा की कई सीमाएं लागू हैं. इससे यह पक्का किया जाता है कि उपयोगकर्ताओं के बीच संसाधनों का बंटवारा सही तरीके से हो. Earth Engine में कई तरह के संसाधन उपलब्ध हैं. जैसे, कंप्यूटेशन, स्टोरेज वगैरह. इसलिए, कोटा की कई सीमाएं लागू हैं.

कोटा के अलग-अलग टाइप के बीच मुख्य अंतर यह है कि इन्हें बदला जा सकता है या नहीं. कोटा के कुछ टाइप के लिए, हम हर उपयोगकर्ता या हर प्रोजेक्ट के हिसाब से सीमाएं बदल सकते हैं. वहीं, अन्य टाइप के लिए, सिस्टम-वाइड सीमाएं लागू होती हैं. इन्हें बदला नहीं जा सकता.

चेतावनी: कोटा से जुड़ी पाबंदियां, Earth Engine कम्यूनिटी के सभी लोगों के लिए कंप्यूटिंग संसाधन उपलब्ध कराने के मकसद से लागू की गई हैं. एक से ज़्यादा Google खातों का इस्तेमाल करके, कोटा से जुड़ी पाबंदियों को दरकिनार करने की कोशिश करना, Earth Engine की सेवा की शर्तों का उल्लंघन है.

कोटा की वे सीमाएं जिन्हें बदला जा सकता है

ये सीमाएं, हर प्रोजेक्ट के हिसाब से लागू होती हैं.

कोटा का टाइप	डिफ़ॉल्ट वैल्यू (हर प्रोजेक्ट के लिए)
एक साथ किए जा सकने वाले ज़्यादा से ज़्यादा अनुरोध (स्टैंडर्ड एंडपॉइंट)	एक साथ 40 अनुरोध
एक साथ किए जा सकने वाले ज़्यादा से ज़्यादा अनुरोध (ज़्यादा वॉल्यूम वाला एंडपॉइंट)	एक साथ 40 अनुरोध
अनुरोधों की ज़्यादा से ज़्यादा दर (हर प्रोजेक्ट के लिए)	100 अनुरोध/सेकंड (6,000 अनुरोध/मिनट)
अनुरोधों की ज़्यादा से ज़्यादा दर (हर खाते के लिए)	100 अनुरोध/सेकंड (6,000 अनुरोध/मिनट)
एक साथ किए जाने वाले बैच टास्क की औसत संख्या	औसतन दो टास्क
ऐसेट के लिए स्टोरेज की ज़्यादा से ज़्यादा जगह	250 जीबी
ऐसेट की ज़्यादा से ज़्यादा संख्या	10,000
Earth Engine के कंप्यूट टाइम (ईईसीयू-टाइम) की हर दिन की सीमा (सेकंड में)	असीमित

एक साथ किए जाने वाले इंटरैक्टिव अनुरोध

हर प्रोजेक्ट के लिए, इंटरैक्टिव अनुरोध एक साथ किए जा सकते हैं. हालांकि, इसके लिए कोटा की सीमा तय की गई है. अगर सीमा पार हो जाती है, तो Earth Engine, "एचटीटीपी 429: बहुत ज़्यादा अनुरोध" वाली गड़बड़ियां दिखाएगा. आम तौर पर, इन गड़बड़ियों को Earth Engine की क्लाइंट लाइब्रेरी हैंडल करती है. यह लाइब्रेरी, अनुरोधों को एक्सपोनेन्शियल बैकऑफ़ में रैप करती है और क्वेरी के सफल होने तक उसे फिर से भेजती है. Earth Engine की क्लाइंट लाइब्रेरी, अनुरोध को ज़्यादा से ज़्यादा पांच बार फिर से भेजेगी.

429 वाली इन गड़बड़ियों से बचने के लिए, अपने ऐप्लिकेशन के लिए कैश मेमोरी की सुविधा चालू की जा सकती है. उदाहरण के लिए, memcache का इस्तेमाल करके, जहां तक हो सके, एक जैसी क्वेरी बार-बार करने से बचें. अगर Earth Engine की क्लाइंट लाइब्रेरी के पुराने वर्शन का इस्तेमाल किया जा रहा है, जो क्वेरी को अपने-आप फिर से नहीं भेजता है या अगर पांच बार फिर से भेजने के बाद भी कोई क्वेरी पूरी नहीं होती है, तो आपको अनुरोधों के लिए एक्सपोनेन्शियल बैकऑफ़ लागू करना पड़ सकता है.

अनुरोधों की दर (क्यूपीएस)

Earth Engine, एक साथ किए जा सकने वाले अनुरोधों की सीमाओं के अलावा, प्रोजेक्ट और उपयोगकर्ता के लेवल पर इंटरैक्टिव अनुरोधों की दर को भी सीमित करता है. इन सेटिंग को Cloud Console में जाकर बदला जा सकता है

एक साथ किए जाने वाले बैच टास्क

बैच टास्क के लिए, एक साथ किए जा सकने वाले टास्क की संख्या सीमित होती है, क्योंकि ये इंटरैक्टिव अनुरोधों की तुलना में ज़्यादा संसाधनों का इस्तेमाल करते हैं.

Earth Engine का इस्तेमाल गैर-व्यावसायिक तौर पर करने पर, एक साथ किए जा सकने वाले बैच टास्क की ज़्यादा से ज़्यादा संख्या, आपके गैर-व्यावसायिक टियर के हिसाब से तय होती है.

Earth Engine का इस्तेमाल व्यावसायिक तौर पर करने पर, एक साथ किए जा सकने वाले बैच टास्क की ज़्यादा से ज़्यादा संख्या, कीमत वाले प्लान के हिसाब से तय होती है. हालांकि, हर प्रोजेक्ट के लिए, एक साथ किए जा सकने वाले बैच टास्क की सीमा तय करके, इसे और भी कम किया जा सकता है. डिफ़ॉल्ट रूप से, किसी प्रोजेक्ट के लिए, एक साथ किए जा सकने वाले बैच टास्क की सीमा, प्रोजेक्ट के बिलिंग खाते पर कॉन्फ़िगर किए गए पेमेंट प्लान के हिसाब से तय की जाती है. किसी प्रोजेक्ट के लिए, इस सीमा को देखने या अपडेट करने के लिए, कमांड लाइन टूलके दस्तावेज़ देखें.

ऐसेट के लिए स्टोरेज कोटा

Earth Engine की हर ऐसेट के लिए, डेटा स्टोरेज का साइज़ तय होता है. इसे बाइट में मेज़र किया जाता है. ऐसेट के मालिक, Cloud प्रोजेक्ट या लोग (लेगसी ऐसेट) हो सकते हैं. हर ऐसेट को, उसके मालिक के Earth Engine के कुल स्टोरेज और ऐसेट की संख्या की सीमा में गिना जाता है.

गैर-व्यावसायिक या रिसर्च के मकसद से, ऐसेट के लिए स्टोरेज का ज़्यादा कोटा पाने के लिए, देखें गैर-व्यावसायिक या रिसर्च के मकसद से इस्तेमाल करना.

हर दिन के लिए ईईसीयू-टाइम

अगर आपको लागत कंट्रोल करनी है, तो हर दिन के लिए ईईसीयू-टाइम की सीमा तय की जा सकती है. इससे यह तय किया जा सकता है कि कोई प्रोजेक्ट, Earth Engine पर हर दिन कितना ईईसीयू-टाइम इस्तेमाल कर सकता है. डिफ़ॉल्ट रूप से, इस कोटा की कोई सीमा नहीं होती. कोटा एडमिन, Cloud Console में जाकर, यह सीमा तय कर सकते हैं. इसके लिए, उन्हें earthengine.googleapis.com/daily_eecu_usage_time कोटा मेट्रिक को फ़िल्टर करना होगा. यह कोटा सेट करने के बाद, किसी प्रोजेक्ट में सभी उपयोगकर्ताओं के Earth Engine के सफल अनुरोधों से इस्तेमाल होने वाला ईईसीयू-टाइम इकट्ठा करता है. कोटा पार होने पर, अनुरोध तब तक पूरे नहीं होंगे, जब तक कि अगले दिन कोटा रीसेट न हो जाए या सीमा न बढ़ जाए. इस कोटा को सेट करने के बारे में ज़्यादा जानकारी के लिए, लागत कंट्रोल करने की गाइड देखें.

ध्यान दें: यह कोटा अनुमानित है. यह ज़्यादा खर्च से सुरक्षा देता है, लेकिन इसे ईईसीयू-टाइम को सीमित करने के लिए डिज़ाइन नहीं किया गया है. ऐसा हो सकता है कि Earth Engine कभी-कभी ऐसी क्वेरी चलाए जो कोटा की सीमा से ज़्यादा हो.

निश्चित कोटा सीमाएं

कोटा की इन सीमाओं को प्लैटफ़ॉर्म के लेवल पर सेट किया जाता है. इसलिए, इन्हें हर उपयोगकर्ता या हर प्रोजेक्ट के हिसाब से नहीं बदला जा सकता. इनमें समय के साथ ज़्यादा बदलाव होने की संभावना नहीं होती.

कंप्यूटेशन का समय

अलग-अलग तरह के अनुरोधों के लिए, ज़्यादा से ज़्यादा अवधि अलग-अलग होती है. इसके बारे में, प्रोसेसिंग एनवायरमेंट के दस्तावेज़ में पूरी जानकारी दी गई है.

टाइमआउट की गड़बड़ियों को ठीक करने में मदद पाने के लिए, डीबग करने की गाइड देखें.

हर अनुरोध के लिए, इस्तेमाल की जाने वाली मेमोरी (मेमोरी फ़ुटप्रिंट)

अगर कोई अनुरोध "उपयोगकर्ता की मेमोरी की सीमा पार हो गई" वाली गड़बड़ी के साथ पूरा नहीं होता है, तो इसका मतलब है कि Earth Engine, तय की गई मेमोरी फ़ुटप्रिंट के अंदर जवाब नहीं दे पाया. ईई कंप्यूटेशन प्लैटफ़ॉर्म में, सीमित मात्रा में रैम उपलब्ध होती है. साथ ही, यह पक्का करने के लिए कि सिस्टम स्थिर रहे, हर अनुरोध के लिए सिर्फ़ एक तय मात्रा में रैम का इस्तेमाल किया जा सकता है. उपलब्ध मेमोरी की ज़्यादा से ज़्यादा मात्रा, अनुरोध के टाइप पर निर्भर करती है.जैसे, मैप टाइल की तुलना में बैच टास्क के लिए ज़्यादा मेमोरी उपलब्ध होती है. हालांकि, ये सीमाएं सिस्टम-वाइड होती हैं.

मेमोरी से जुड़ी गड़बड़ियों को ठीक करने में मदद पाने के लिए, डीबग करने की गाइड देखें.

एग्रीगेशन

Earth Engine के अनुरोधों को प्रोसेस करते समय, हम कुछ तरह के सब-कंप्यूटेशन को अलग कर देते हैं. हमें पता है कि ये कंप्यूटेशन के मामले में मुश्किल होते हैं. इन सब-कंप्यूटेशन को "एग्रीगेशन" कहा जाता है. इन्हें ईई सिस्टम में खास तौर पर हैंडल किया जाता है. एग्रीगेशन के नतीजों को कैश किया जाता है, ताकि उन्हें फिर से कंप्यूट न करना पड़े.

एक साथ किए जाने वाले एग्रीगेशन

कंप्यूटेशनल फ़ैनआउट को कंट्रोल करने के लिए, हम एक साथ किए जा सकने वाले एग्रीगेशन की संख्या को सीमित करते हैं. यह सीमा, हर उपयोगकर्ता के लिए तय की जाती है और इसे बदला नहीं जा सकता. अगर कोई अनुरोध "एक साथ किए जाने वाले एग्रीगेशन की संख्या बहुत ज़्यादा है" वाली गड़बड़ी के साथ पूरा नहीं होता है, तो इसका मतलब है कि अनुरोध करने वाले व्यक्ति ने एक ही समय पर बहुत ज़्यादा एग्रीगेशन किए थे.

एक साथ किए जाने वाले एग्रीगेशन से जुड़ी गड़बड़ियों को ठीक करने में मदद पाने के लिए, डीबग करने की गाइड देखें.

एग्रीगेशन के बड़े नतीजे

अगर कोई अनुरोध "कंप्यूट की गई वैल्यू बहुत बड़ी है" वाली गड़बड़ी के साथ पूरा नहीं होता है, तो इसका मतलब है कि एग्रीगेशन ने ऐसा नतीजा दिया है जो हमारे कैश में फ़िट होने के लिए बहुत बड़ा है. कंप्यूट किए गए नतीजों के लिए, साइज़ की सीमा 100 MiB है. यह सीमा सिस्टम-वाइड है.

टेबल इंपोर्ट करने की सीमाएं

टेबल अपलोड करने की सीमाओं के बारे में, टेबल डेटा इंपोर्ट करने की गाइड में बताया गया है.

अनुरोध के पेलोड का साइज़

Earth Engine के लिए, एक क्वेरी का साइज़ 10 एमबी से ज़्यादा नहीं होना चाहिए. आम तौर पर, यह सीमा तब पार होती है, जब क्वेरी में सीधे तौर पर कोई बड़ा अतिरिक्त डेटा शामिल किया जाता है. जैसे, शेपफ़ाइल या GeoJSON स्ट्रक्चर, जिसे क्वेरी में इनलाइन किया गया हो. इन ऑब्जेक्ट को अपलोड किया जाना चाहिए और FeatureCollection ऐसेट में बदला जाना चाहिए. साथ ही, इन्हें ऐसेट आईडी से रेफ़र किया जाना चाहिए.

टास्क की क्यू की लंबाई

शेड्यूल किए जाने के इंतज़ार में मौजूद टास्क (READY स्टेट में), "टास्क की क्यू" बनाते हैं. हर प्रोजेक्ट की क्यू में, ज़्यादा से ज़्यादा 3,000 टास्क शामिल किए जा सकते हैं. इसका मतलब है कि READY स्टेट में 3,000 से ज़्यादा टास्क नहीं हो सकते.

BigQuery के रास्टर फ़ंक्शन के लिए कोटा की सीमाएं

Earth Engine से BigQuery पर कॉल करने के लिए, ये कोटा लागू होते हैं. जैसे, का इस्तेमाल करते समय ST_REGIONSTATS एसक्यूएल फ़ंक्शन.

कोटा का टाइप	डिफ़ॉल्ट वैल्यू (हर प्रोजेक्ट के लिए)
हर दिन के लिए BigQuery स्लॉट-टाइम	12,60,000 स्लॉट-सेकंड (350 स्लॉट-घंटे)

हर दिन के लिए BigQuery स्लॉट-टाइम

हर दिन के लिए BigQuery स्लॉट-टाइम का कोटा, एक कस्टम कोटा है. इससे, यह तय किया जा सकता है कि किसी प्रोजेक्ट के लिए, BigQuery के रास्टर फ़ंक्शन, Earth Engine पर किसी दिन कितना स्लॉट-टाइम इस्तेमाल कर सकते हैं. हर दिन के कोटा में, सभी क्वेरी के लिए इस्तेमाल किया गया कुल समय इकट्ठा होता है. इसमें वे क्वेरी भी शामिल होती हैं जो पूरी नहीं हुईं. Cloud Console में, earthengine.googleapis.com/bigquery_slot_usage_time मेट्रिक में जाकर, कोटा देखा जा सकता है. कोटा एडमिन, इसकी वैल्यू को कम या ज़्यादा कर सकते हैं. डिफ़ॉल्ट वैल्यू से ज़्यादा वैल्यू सेट करने के लिए, कोटा बढ़ाने का अनुरोध करें. इसे अपने-आप मंज़ूरी मिल जाएगी. बदलाव को लागू होने में 10 मिनट लगेंगे.

अगर यह कोटा पार हो जाता है, तो BigQuery, गड़बड़ी का यह मैसेज दिखाएगा:

From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for'earthengine.googleapis.com/bigquery_slot_usage_time', which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.

कोटा पार होने के बाद, ST_REGIONSTATS कॉल तब तक पूरे नहीं होंगे, जब तक कि अगले दिन कोटा रीसेट न हो जाए या एडमिन, सीमा न बढ़ा दे.

ध्यान दें: BigQuery की कस्टम क्वेरी के कोटा की तरह, यह कोटा भी अनुमानित है. यह ज़्यादा खर्च से सुरक्षा देता है, लेकिन इसे स्लॉट टाइम को सीमित करने के लिए डिज़ाइन नहीं किया गया है. ऐसा हो सकता है कि BigQuery कभी-कभी ऐसी क्वेरी चलाए जो कोटा की सीमा से ज़्यादा हो.