উদ্দেশ্য
উচ্চ ভলিউম ঠিকানা যাচাইকরণ টিউটোরিয়াল আপনাকে বিভিন্ন পরিস্থিতিতে নির্দেশিত করেছে যেখানে উচ্চ ভলিউম ঠিকানা যাচাইকরণ ব্যবহার করা যেতে পারে। এই টিউটোরিয়ালে, আমরা আপনাকে হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন চালানোর জন্য Google ক্লাউড প্ল্যাটফর্মের মধ্যে বিভিন্ন ডিজাইনের প্যাটার্নের সাথে পরিচয় করিয়ে দেব।
আমরা Google ক্লাউড প্ল্যাটফর্মে ক্লাউড রান, কম্পিউট ইঞ্জিন বা Google কুবারনেটস ইঞ্জিনের সাথে এককালীন কার্যকর করার জন্য উচ্চ ভলিউম ঠিকানা যাচাইকরণ চালানোর একটি ওভারভিউ দিয়ে শুরু করব। তারপরে আমরা দেখব কীভাবে এই ক্ষমতাটি ডেটা পাইপলাইনের অংশ হিসাবে অন্তর্ভুক্ত করা যেতে পারে।
এই নিবন্ধের শেষের মধ্যে আপনার Google ক্লাউড পরিবেশে উচ্চ ভলিউমে ঠিকানা যাচাইকরণ চালানোর জন্য বিভিন্ন বিকল্প সম্পর্কে আপনার ভাল ধারণা থাকা উচিত।
Google ক্লাউড প্ল্যাটফর্মে রেফারেন্স আর্কিটেকচার
এই বিভাগটি Google ক্লাউড প্ল্যাটফর্ম ব্যবহার করে উচ্চ ভলিউম ঠিকানা যাচাইকরণের জন্য বিভিন্ন ডিজাইনের প্যাটার্নে গভীরভাবে ডুব দেয়৷ Google ক্লাউড প্ল্যাটফর্মে চালানোর মাধ্যমে, আপনি আপনার বিদ্যমান প্রক্রিয়া এবং ডেটা পাইপলাইনগুলির সাথে একীভূত করতে পারেন৷
Google ক্লাউড প্ল্যাটফর্মে একবার উচ্চ ভলিউম ঠিকানা যাচাইকরণ চলছে৷
Google ক্লাউড প্ল্যাটফর্মে কীভাবে একটি ইন্টিগ্রেশন তৈরি করা যায় তার একটি রেফারেন্স আর্কিটেকচার নীচে দেখানো হয়েছে যা একের পর এক অপারেশন বা পরীক্ষার জন্য আরও উপযুক্ত৷
এই ক্ষেত্রে, আমরা একটি ক্লাউড স্টোরেজ বালতিতে CSV ফাইল আপলোড করার পরামর্শ দিই৷ হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন স্ক্রিপ্ট তারপর ক্লাউড রান পরিবেশ থেকে চালানো যেতে পারে। তবে আপনি কম্পিউট ইঞ্জিন বা গুগল কুবারনেটস ইঞ্জিনের মতো অন্য যেকোনো রানটাইম পরিবেশে এটি চালাতে পারেন। আউটপুট CSV ক্লাউড স্টোরেজ বাকেটেও আপলোড করা যেতে পারে।
Google ক্লাউড প্ল্যাটফর্ম ডেটা পাইপলাইন হিসাবে চলছে৷
পূর্ববর্তী বিভাগে দেখানো স্থাপনার প্যাটার্নটি একবার ব্যবহারের জন্য দ্রুত উচ্চ ভলিউম ঠিকানা বৈধতা পরীক্ষা করার জন্য দুর্দান্ত। তবে আপনার যদি ডেটা পাইপলাইনের অংশ হিসাবে এটি নিয়মিত ব্যবহার করার প্রয়োজন হয়, তাহলে আপনি Google ক্লাউড প্ল্যাটফর্মের নেটিভ ক্ষমতাগুলিকে আরও শক্তিশালী করতে আরও ভালভাবে ব্যবহার করতে পারেন। আপনি করতে পারেন এমন কিছু পরিবর্তনের মধ্যে রয়েছে:
- এই ক্ষেত্রে, আপনি ক্লাউড স্টোরেজ বালতিতে CSV ফাইলগুলি ডাম্প করতে পারেন৷
- একটি Dataflow জব প্রসেস করার জন্য ঠিকানাগুলি তুলে নিতে পারে এবং তারপর BigQuery- এ ক্যাশে করতে পারে৷
- ডাটাফ্লো কাজ থেকে ঠিকানা যাচাই করার জন্য উচ্চ ভলিউম অ্যাড্রেস ভ্যালিডেশনের জন্য ডাটাফ্লো পাইথন লাইব্রেরি বাড়ানো যেতে পারে।
একটি দীর্ঘস্থায়ী পুনরাবৃত্ত প্রক্রিয়া হিসাবে একটি ডেটা পাইপলাইন থেকে স্ক্রিপ্ট চালানো
আরেকটি সাধারণ পদ্ধতি হল একটি পুনরাবৃত্ত প্রক্রিয়া হিসাবে স্ট্রিমিং ডেটা পাইপলাইনের অংশ হিসাবে ঠিকানাগুলির একটি ব্যাচকে বৈধ করা। আপনার কাছে একটি বিগকোয়েরি ডেটাস্টোরেও ঠিকানা থাকতে পারে। এই পদ্ধতিতে আমরা দেখব কিভাবে একটি পুনরাবৃত্ত ডেটা পাইপলাইন তৈরি করা যায় (যা দৈনিক/সাপ্তাহিক/মাসিক ট্রিগার করা প্রয়োজন)
- একটি ক্লাউড স্টোরেজ বালতিতে প্রাথমিক CSV ফাইল আপলোড করুন৷
- দীর্ঘ চলমান প্রক্রিয়ার জন্য মধ্যবর্তী অবস্থা বজায় রাখতে একটি স্থায়ী ডেটাস্টোর হিসাবে মেমোরিস্টোর ব্যবহার করুন।
- একটি BigQuery ডেটাস্টোরে চূড়ান্ত ঠিকানা ক্যাশে করুন।
- পর্যায়ক্রমে স্ক্রিপ্ট চালানোর জন্য ক্লাউড শিডিউলার সেট আপ করুন।
এই স্থাপত্যের নিম্নলিখিত সুবিধা রয়েছে:
- ক্লাউড শিডিউলার ব্যবহার করে, ঠিকানা যাচাইকরণ পর্যায়ক্রমে করা যেতে পারে। আপনি মাসিক ভিত্তিতে ঠিকানাগুলিকে পুনরায় যাচাই করতে চাইতে পারেন বা মাসিক/ত্রৈমাসিক ভিত্তিতে কোনো নতুন ঠিকানা যাচাই করতে চাইতে পারেন। এই আর্কিটেকচার সেই ব্যবহারের ক্ষেত্রে সমাধান করতে সাহায্য করে।
যদি গ্রাহকের ডেটা BigQuery তে থাকে, তাহলে বৈধ ঠিকানা বা বৈধতা ফ্ল্যাগ সরাসরি সেখানে ক্যাশে করা যেতে পারে। দ্রষ্টব্য: কী ক্যাশে করা যেতে পারে এবং কীভাবে উচ্চ ভলিউম ঠিকানা যাচাইকরণ নিবন্ধে বিশদে বর্ণনা করা হয়েছে
মেমোরিস্টোর ব্যবহার উচ্চতর স্থিতিস্থাপকতা এবং আরও ঠিকানা প্রক্রিয়া করার ক্ষমতা প্রদান করে। এই পদক্ষেপগুলি পুরো প্রক্রিয়াকরণ পাইপলাইনে একটি রাষ্ট্রীয়তা যুক্ত করে যা খুব বড় ঠিকানা ডেটাসেটগুলি পরিচালনা করার জন্য প্রয়োজন। অন্যান্য ডাটাবেস প্রযুক্তি যেমন ক্লাউড এসকিউএল[https://cloud.google.com/sql] বা Google ক্লাউড প্ল্যাটফর্ম অফার করে এমন ডেটাবেসের অন্য কোনো স্বাদ এখানেও ব্যবহার করা যেতে পারে। তবে আমরা বিশ্বাস করি মেমরিস্টোর পারফেক্টলেস স্কেলিং এবং সরলতার চাহিদার ভারসাম্য বজায় রাখে, তাই প্রথম পছন্দ হওয়া উচিত।
উপসংহার
এখানে বর্ণিত নিদর্শনগুলি প্রয়োগ করে, আপনি Google ক্লাউড প্ল্যাটফর্মে বিভিন্ন ব্যবহারের ক্ষেত্রে এবং বিভিন্ন ব্যবহারের ক্ষেত্রে ঠিকানা যাচাইকরণ API ব্যবহার করতে পারেন৷
উপরে বর্ণিত ব্যবহারের ক্ষেত্রে আপনাকে সাহায্য করার জন্য আমরা একটি ওপেন সোর্স পাইথন লাইব্রেরি লিখেছি। এটি আপনার কম্পিউটারে একটি কমান্ড লাইন থেকে আহ্বান করা যেতে পারে বা এটি Google ক্লাউড প্ল্যাটফর্ম বা অন্যান্য ক্লাউড প্রদানকারীর থেকে আহ্বান করা যেতে পারে।
এই নিবন্ধটি থেকে লাইব্রেরি কীভাবে ব্যবহার করবেন সে সম্পর্কে আরও জানুন।
পরবর্তী পদক্ষেপ
ইম্প্রুভ চেকআউট, ডেলিভারি, এবং ক্রিয়াকলাপগুলি নির্ভরযোগ্য ঠিকানাগুলির হোয়াইটপেপার সহ ডাউনলোড করুন এবং ঠিকানা যাচাইকরণ ওয়েবিনারের সাথে উন্নত চেকআউট, বিতরণ এবং অপারেশনগুলি দেখুন৷
আরও পড়ার পরামর্শ দেওয়া হয়েছে:
অবদানকারী
Google এই নিবন্ধটি বজায় রাখে। নিম্নলিখিত অবদানকারীরা মূলত এটি লিখেছেন।
প্রধান লেখক:
হেনরিক ভালভ | সমাধান প্রকৌশলী
টমাস অ্যাংলারেট | সমাধান প্রকৌশলী
সার্থক গাঙ্গুলি | সমাধান প্রকৌশলী