কোটার প্রকারভেদ
আর্থ ইঞ্জিন প্ল্যাটফর্মে ব্যবহারকারীদের মধ্যে রিসোর্স ন্যায্যভাবে বন্টন নিশ্চিত করার জন্য বেশ কিছু কোটা সীমা নির্ধারণ করা আছে। যেহেতু আর্থ ইঞ্জিনে বিভিন্ন ধরনের রিসোর্স (যেমন কম্পিউটেশন, স্টোরেজ ইত্যাদি) পাওয়া যায়, তাই বিভিন্ন ধরনের কোটা সীমাও রয়েছে।
বিভিন্ন ধরণের কোটার মধ্যে প্রধান পার্থক্য হলো সেগুলি পরিবর্তনযোগ্য কিনা। কিছু ধরণের কোটার ক্ষেত্রে, আমরা ব্যবহারকারী-ভিত্তিক বা প্রকল্প-ভিত্তিক সীমা পরিবর্তন করতে পারি, অন্যদিকে অন্য ধরণের সীমাগুলো সিস্টেম-ব্যাপী এবং তা পরিবর্তন করা যায় না।
পরিবর্তনযোগ্য কোটা সীমা
নিম্নলিখিত সীমাগুলো প্রকল্প-ভিত্তিক প্রযোজ্য।
| কোটার ধরণ | ডিফল্ট মান (প্রকল্প প্রতি) |
|---|---|
| সর্বোচ্চ একযোগে অনুরোধ (স্ট্যান্ডার্ড এন্ডপয়েন্ট) | একই সাথে ৪০টি অনুরোধ |
| সর্বোচ্চ একযোগে অনুরোধ (উচ্চ-ভলিউম এন্ডপয়েন্ট) | একই সাথে ৪০টি অনুরোধ |
| অনুরোধের সর্বোচ্চ হার (প্রতি প্রকল্পে) | প্রতি সেকেন্ডে ১০০টি অনুরোধ (প্রতি মিনিটে ৬০০০টি অনুরোধ) |
| অনুরোধের সর্বোচ্চ হার (প্রতি অ্যাকাউন্টে) | প্রতি সেকেন্ডে ১০০টি অনুরোধ (প্রতি মিনিটে ৬০০০টি অনুরোধ) |
| গড় সমান্তরাল ব্যাচ টাস্ক | গড়ে ২টি কাজ |
| সর্বোচ্চ সম্পদ সংরক্ষণের স্থান | ২৫০ জিবি |
| সম্পদের সর্বোচ্চ সংখ্যা | ১০,০০০ |
| প্রতিদিন আর্থ ইঞ্জিন গণনার সময় (EECU-সময়) সেকেন্ডে | সীমাহীন |
একই সাথে ইন্টারেক্টিভ অনুরোধ
প্রতিটি প্রজেক্ট একটি কোটা সীমা পর্যন্ত সমান্তরালভাবে ইন্টারেক্টিভ রিকোয়েস্ট পাঠাতে পারে। সীমা অতিক্রম করলে, আর্থ ইঞ্জিন "HTTP 429: Too Many Requests" এরর রিটার্ন করবে। সাধারণত, এই এররগুলো আর্থ ইঞ্জিন ক্লায়েন্ট লাইব্রেরি দ্বারা হ্যান্ডেল করা হয়, যা রিকোয়েস্টগুলোকে এক্সপোনেনশিয়াল ব্যাকঅফের মধ্যে রেখে সফল না হওয়া পর্যন্ত কোয়েরিটি পুনরায় চেষ্টা করতে থাকে। আর্থ ইঞ্জিন ক্লায়েন্ট লাইব্রেরিটি রিকোয়েস্টটি সর্বোচ্চ পাঁচবার পর্যন্ত পুনরায় চেষ্টা করবে।
এই 429 ত্রুটিগুলি এড়াতে, আপনি আপনার অ্যাপ্লিকেশনের জন্য ক্যাশিং সক্ষম করতে পারেন, উদাহরণস্বরূপ মেমক্যাশ (memcache) ব্যবহার করে, যাতে সম্ভব হলে অপ্রয়োজনীয় কোয়েরি এড়ানো যায়। যদি আর্থ ইঞ্জিন (Earth Engine) ক্লায়েন্ট লাইব্রেরির পুরোনো সংস্করণ ব্যবহার করেন যা স্বয়ংক্রিয়ভাবে কোয়েরি পুনরায় চেষ্টা করে না, অথবা যদি পাঁচবার চেষ্টার পরেও একটি কোয়েরি সম্পন্ন না হয়, তাহলে আপনাকে অনুরোধগুলির চারপাশে এক্সপোনেনশিয়াল ব্যাকঅফ (exponential backoff) প্রয়োগ করতে হতে পারে।
অনুরোধের হার (QPS)
একই সাথে একাধিক কাজ চলার সীমার পাশাপাশি, আর্থ ইঞ্জিন প্রজেক্ট এবং ব্যবহারকারী পর্যায়ে ইন্টারেক্টিভ অনুরোধের হারও সীমিত করে। এই সেটিংসগুলো ক্লাউড কনসোলে সমন্বয় করা যায়।
একযোগে ব্যাচ টাস্ক
ব্যাচ টাস্কের ক্ষেত্রে প্যারালালিজম সীমিত, কারণ এগুলো ইন্টারেক্টিভ রিকোয়েস্টের চেয়ে বেশি রিসোর্স ব্যবহার করে।
আর্থ ইঞ্জিন অবাণিজ্যিকভাবে ব্যবহার করার সময়, আপনি একই সাথে সর্বাধিক কতগুলো ব্যাচ টাস্ক চালাতে পারবেন তা আপনার অবাণিজ্যিক টিয়ার দ্বারা নির্ধারিত হয়।
বাণিজ্যিকভাবে আর্থ ইঞ্জিন ব্যবহার করার সময়, আপনি একই সাথে সর্বাধিক যতগুলো ব্যাচ টাস্ক চালাতে পারবেন তা প্রাইসিং প্ল্যান দ্বারা নির্ধারিত হয়, যদিও প্রতি-প্রকল্প ব্যাচ টাস্ক কনকারেন্সি লিমিট সেট করার মাধ্যমে এই সংখ্যাটি আরও কমানো যেতে পারে। ডিফল্টরূপে, একটি প্রকল্পের ব্যাচ টাস্ক কনকারেন্সি লিমিট সেই প্রকল্পের বিলিং অ্যাকাউন্টে কনফিগার করা পেমেন্ট প্ল্যান দ্বারা অনুমোদিত সর্বোচ্চ সীমায় সেট করা থাকে। কোনো প্রকল্পের এই লিমিট দেখতে বা আপডেট করতে, কমান্ড লাইন টুলের ডকুমেন্টেশন দেখুন।
সম্পদ সংরক্ষণের কোটা
প্রতিটি আর্থ ইঞ্জিন অ্যাসেটের একটি নির্দিষ্ট ডেটা স্টোরেজ সাইজ থাকে, যা বাইটে পরিমাপ করা হয়। অ্যাসেটগুলো ক্লাউড প্রজেক্ট বা কোনো ব্যক্তির (লেগ্যাসি অ্যাসেট) মালিকানাধীন হতে পারে, এবং প্রতিটি অ্যাসেট তার মালিকের আর্থ ইঞ্জিনের মোট স্টোরেজ ও অ্যাসেট সংখ্যার সীমার মধ্যে গণনা করা হয়।
অবাণিজ্যিক বা গবেষণামূলক ব্যবহারের জন্য অতিরিক্ত সম্পদ সংরক্ষণ কোটার আবেদন করতে, 'অবাণিজ্যিক বা গবেষণামূলক ব্যবহার' দেখুন।
প্রতিদিন EECU-সময়
আপনি যদি খরচ নিয়ন্ত্রণ করতে চান, তাহলে একটি প্রজেক্ট প্রতিদিন আর্থ ইঞ্জিনে যে পরিমাণ EECU-টাইম ব্যবহার করতে পারবে, তা সীমিত করতে পারেন। ডিফল্টরূপে, এই কোটা সীমাহীন। কোটা অ্যাডমিনিস্ট্রেটররা ক্লাউড কনসোলে earthengine.googleapis.com/daily_eecu_usage_time কোটা মেট্রিকটি ফিল্টার করে এই সীমা নির্ধারণ করতে পারেন। একবার সেট করা হলে, এই কোটা একটি প্রজেক্টের সমস্ত ব্যবহারকারীর সফল আর্থ ইঞ্জিন অনুরোধ দ্বারা ব্যবহৃত EECU-টাইম জমা করে। কোটা অতিক্রম করলে, পরের দিন কোটা পুনরায় সেট না করা পর্যন্ত বা সীমা না বাড়ানো পর্যন্ত অনুরোধগুলি ব্যর্থ হবে। এই কোটা সেট করার বিষয়ে আরও বিস্তারিত জানতে খরচ নিয়ন্ত্রণ নির্দেশিকা দেখুন।
নির্দিষ্ট কোটা সীমা
এই ধরনের কোটা সীমা প্ল্যাটফর্ম পর্যায়ে নির্ধারণ করা হয়, তাই এগুলো ব্যবহারকারী-ভিত্তিক বা প্রকল্প-ভিত্তিক সমন্বয় করা যায় না । সময়ের সাথে সাথে এগুলোর উল্লেখযোগ্য পরিবর্তন হওয়ার সম্ভাবনা কম।
গণনার সময়
বিভিন্ন ধরণের অনুরোধের সর্বোচ্চ সময়সীমা ভিন্ন ভিন্ন হয়, যা প্রসেসিং এনভায়রনমেন্টস ডকুমেন্টেশনে বিশদভাবে বর্ণনা করা হয়েছে।
টাইমআউট ত্রুটি সমাধানের জন্য ডিবাগিং গাইড দেখুন।
প্রতি-অনুরোধ মেমরি ফুটপ্রিন্ট
যখন কোনো অনুরোধ "ব্যবহারকারীর মেমরি সীমা অতিক্রম করেছে" বার্তার কারণে ব্যর্থ হয়, তার মানে হলো আর্থ ইঞ্জিন অনুমোদিত মেমরি পরিসরের মধ্যে উত্তরটি গণনা করতে পারেনি। EE কম্পিউটেশন প্ল্যাটফর্মে একটি নির্দিষ্ট পরিমাণ র্যাম উপলব্ধ থাকে এবং সিস্টেমের স্থিতিশীলতা নিশ্চিত করার জন্য, প্রতিটি অনুরোধ কেবল একটি নির্দিষ্ট পরিমাণই ব্যবহার করতে পারে। উপলব্ধ মেমরির সর্বোচ্চ পরিমাণ অনুরোধের ধরনের উপর নির্ভর করে (যেমন, একটি ম্যাপ টাইলের চেয়ে ব্যাচ টাস্কের জন্য বেশি), কিন্তু এগুলো সিস্টেম-ব্যাপী সীমা।
মেমরি ত্রুটি সমাধানে সাহায্যের জন্য ডিবাগিং গাইড দেখুন।
সমষ্টি
আর্থ ইঞ্জিন অনুরোধগুলি প্রক্রিয়া করার সময়, আমরা কিছু নির্দিষ্ট ধরণের উপ-গণনা আলাদা করে রাখি যেগুলো গণনাগতভাবে নিবিড় বলে আমরা জানি। এই উপ-গণনাগুলিকে "অ্যাগ্রিগেশন" বলা হয় এবং এগুলি EE সিস্টেমে বিশেষভাবে পরিচালনা করা হয়। পুনরায় গণনা এড়াতে অ্যাগ্রিগেশনের ফলাফল ক্যাশে সংরক্ষণ করা হয়।
একযোগে একত্রীকরণ
অনিয়ন্ত্রিত কম্পিউটেশনাল ফ্যানআউট এড়াতে, আমরা একজন ব্যবহারকারী একই সাথে যতগুলো অ্যাগ্রিগেশন চালাতে পারবেন তার সংখ্যা সীমিত করি, এবং এটি অপরিবর্তনীয়। যখন কোনো অনুরোধ "Too many concurrent aggregations" ত্রুটির কারণে ব্যর্থ হয়, তার মানে হলো অনুরোধকারী একই সময়ে অনেক বেশি অ্যাগ্রিগেশন চালাচ্ছিলেন।
কনকারেন্ট অ্যাগ্রিগেশন ত্রুটি সমাধানে সাহায্যের জন্য ডিবাগিং গাইড দেখুন।
বৃহৎ সমষ্টিগত ফলাফল
যখন কোনো অনুরোধ "Computed value too large" ত্রুটির কারণে ব্যর্থ হয়, তার মানে হলো অ্যাগ্রিগেশনটি এমন একটি ফলাফল দিয়েছে যা আমাদের ক্যাশে ধারণ করার জন্য অনেক বড়। কম্পিউটেড ফলাফলের আকারের সীমা হলো ১০০ MiB, এবং এটি একটি সিস্টেম-ব্যাপী সীমা।
টেবিল আমদানির সীমা
টেবিলের ডেটা ইম্পোর্ট করার নির্দেশিকায় টেবিল আপলোডের সীমা ব্যাখ্যা করা হয়েছে।
অনুরোধ পেলোড আকার
আর্থ ইঞ্জিনে একটি একক কোয়েরির আকার ১০ মেগাবাইটে সীমাবদ্ধ। এই সীমা সাধারণত তখনই অতিক্রম করা হয় যখন কোনো বড় আকারের অতিরিক্ত ডেটা সরাসরি কোয়েরিতে অন্তর্ভুক্ত করা হয়, যেমন একটি শেপফাইল বা জিওজেএসওএন কাঠামো যা কোয়েরির মধ্যে ইনলাইন করা হয়েছে। এর পরিবর্তে, এই অবজেক্টগুলোকে আপলোড করে একটি ফিচার কালেকশন অ্যাসেটে পরিণত করা উচিত এবং অ্যাসেট আইডি দ্বারা সেগুলোকে রেফারেন্স করা উচিত।
টাস্ক কিউয়ের দৈর্ঘ্য
যে টাস্কগুলো শিডিউল হওয়ার অপেক্ষায় থাকে ( READY অবস্থায়), সেগুলো নিয়ে ‘টাস্ক কিউ’ গঠিত হয়। প্রতিটি প্রজেক্টের কিউ সর্বোচ্চ ৩,০০০টি টাস্ক সমর্থন করে। এর মানে হলো, READY অবস্থায় ৩,০০০টির বেশি টাস্ক থাকা সম্ভব নয়।
BigQuery রাস্টার ফাংশনের কোটা সীমা
BigQuery থেকে Earth Engine-এ কল করার ক্ষেত্রে নিম্নলিখিত কোটা প্রযোজ্য, যেমন ST_REGIONSTATS SQL ফাংশন ব্যবহার করার সময়।
| কোটার ধরণ | ডিফল্ট মান (প্রকল্প প্রতি) |
|---|---|
| প্রতিদিন BigQuery স্লট-সময় | ১,২৬০,০০০ স্লট-সেকেন্ড (৩৫০ স্লট-ঘণ্টা) |
প্রতিদিন BigQuery স্লট-সময়
BigQuery দৈনিক স্লট-টাইম কোটা হলো একটি কাস্টম কোটা, যা আপনাকে একটি নির্দিষ্ট দিনে একটি নির্দিষ্ট প্রজেক্টের জন্য Earth Engine-এ BigQuery রাস্টার ফাংশনগুলোর ব্যবহারের জন্য স্লট-টাইমের পরিমাণ সীমিত করতে দেয়। এই দৈনিক কোটা সমস্ত কোয়েরির মোট সময় গণনা করে, এমনকি যেগুলো ব্যর্থ হয় সেগুলোরও। আপনি ক্লাউড কনসোলে earthengine.googleapis.com/bigquery_slot_usage_time মেট্রিকের অধীনে কোটাটি দেখতে পারেন এবং একজন কোটা অ্যাডমিনিস্ট্রেটর এর মান বাড়াতে বা কমাতে পারেন। ডিফল্ট মানের চেয়ে বেশি মানটি বাড়াতে, একটি কোটা বৃদ্ধির অনুরোধ তৈরি করুন , যা স্বয়ংক্রিয়ভাবে অনুমোদিত হবে। পরিবর্তনটি ১০ মিনিটের মধ্যে কার্যকর হওয়া উচিত।
আপনি এই কোটা অতিক্রম করলে, BigQuery নিম্নলিখিত ত্রুটি বার্তাটি দেখাবে:
From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for, which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.
কোটা অতিক্রম করলে, পরের দিন কোটা রিসেট না করা পর্যন্ত অথবা কোনো প্রশাসক কর্তৃক সীমা বৃদ্ধি না করা পর্যন্ত ST_REGIONSTATS কলগুলো ব্যর্থ হবে।