হাই-ভলিউম Address Validation ডিজাইন প্যাটার্ন

উদ্দেশ্য

High Volume Address Validation টিউটোরিয়াল আপনাকে বিভিন্ন পরিস্থিতিতে High Volume Address Validation কীভাবে ব্যবহার করা যায় তা দেখিয়েছে। এই টিউটোরিয়ালে, আমরা আপনাকে Google Cloud Platform-এর মধ্যে বিভিন্ন ডিজাইন প্যাটার্নের সাথে পরিচয় করিয়ে দেব, যাতে আপনি High Volume Address Validation চালাতে পারেন।

আমরা এককালীন এক্সিকিউশনের জন্য Cloud Run, Compute Engine বা Google Kubernetes Engine-এর সাথে Google Cloud Platform-এ হাই ভলিউম Address Validation চালানোর ওভারভিউ দিয়ে শুরু করব। তারপর আমরা দেখব কীভাবে এই ক্ষমতাকে ডেটা পাইপলাইনের অংশ হিসেবে অন্তর্ভুক্ত করা যায়।

এই নিবন্ধের শেষে, আপনার Google Cloud এনভায়রনমেন্টে বিপুল পরিমাণে Address Validation চালানোর বিভিন্ন বিকল্প সম্পর্কে আপনার ভালো ধারণা থাকা উচিত।

Google Cloud Platform-এ রেফারেন্স আর্কিটেকচার

এই বিভাগে Google Cloud Platform ব্যবহার করে হাই ভলিউম অ্যাড্রেস ভ্যালিডেশনের জন্য বিভিন্ন ডিজাইন প্যাটার্ন সম্পর্কে আরও বিস্তারিত আলোচনা করা হয়েছে। Google Cloud Platform-এ রান করার মাধ্যমে, আপনি আগে থেকে থাকা প্রসেস ও ডেটা পাইপলাইনের সাথে ইন্টিগ্রেট করতে পারবেন।

Google Cloud Platform-এ একবার High Volume Address Validation রান করানো

Google Cloud Platform-এ কীভাবে ইন্টিগ্রেশন তৈরি করতে হয় তার একটি রেফারেন্স আর্কিটেকচার নিচে দেখানো হয়েছে, যা এককালীন অপারেশন বা পরীক্ষার জন্য আরও উপযুক্ত।

ছবি

এই ক্ষেত্রে, আমরা CSV ফাইলটি Cloud Storage বাকেটে আপলোড করার সাজেশন দিই। এরপর Cloud Run এনভায়রনমেন্ট থেকে High Volume Address Validation স্ক্রিপ্ট রান করা যাবে। তবে, আপনি এটি Compute Engine বা Google Kubernetes Engine-এর মতো অন্য যেকোনও রানটাইম এনভায়রনমেন্টে এক্সিকিউট করতে পারবেন। আউটপুট CSV ফাইলটি Cloud Storage বাকেটেও আপলোড করা যেতে পারে।

Google Cloud Platform ডেটা পাইপলাইন হিসেবে রান করছে

আগের বিভাগে দেখানো ডিপ্লয়মেন্ট প্যাটার্ন, একবার ব্যবহারের জন্য High Volume Address Validation দ্রুত পরীক্ষা করার ক্ষেত্রে দারুণ। তবে, ডেটা পাইপলাইনের অংশ হিসেবে আপনাকে যদি এটি নিয়মিত ব্যবহার করতে হয়, তাহলে Google Cloud Platform-এর নেটিভ ক্ষমতা ব্যবহার করে আপনি এটিকে আরও শক্তিশালী করতে পারবেন। আপনি যেসব পরিবর্তন করতে পারবেন তার মধ্যে রয়েছে:

ছবি

  • এই ক্ষেত্রে, আপনি Cloud Storage বাকেটে CSV ফাইল ডাম্প করতে পারবেন।
  • Dataflow জব প্রসেস করার জন্য ঠিকানা বেছে নিতে এবং তারপর BigQuery-তে ক্যাশে করতে পারে।
  • Dataflow Python লাইব্রেরি-তে High Volume Address Validation-এর লজিক যোগ করা যেতে পারে, যাতে Dataflow জব থেকে ঠিকানা যাচাই করা যায়।

দীর্ঘস্থায়ী পুনরাবৃত্তিমূলক প্রক্রিয়া হিসাবে ডেটা পাইপলাইন থেকে স্ক্রিপ্ট চালানো

আরেকটি সাধারণ পদ্ধতি হল, একটি স্ট্রিমিং ডেটা পাইপলাইনের অংশ হিসেবে একটি ব্যাচ ঠিকানা যাচাই করা, যা একটি পুনরাবৃত্তিমূলক প্রক্রিয়া। এছাড়াও, আপনার কাছে BigQuery ডেটাস্টোরে ঠিকানা থাকতে পারে। এই পদ্ধতিতে আমরা দেখব যে কীভাবে একটি রেকারিং ডেটা পাইপলাইন (যা দৈনিক/সাপ্তাহিক/মাসিক ট্রিগার করতে হবে) তৈরি করা যায়

ছবি

  • প্রাথমিক CSV ফাইলটি একটি Cloud Storage বাকেটে আপলোড করুন।
  • দীর্ঘ সময় ধরে চলা প্রসেসের জন্য ইন্টারমিডিয়েট স্টেট বজায় রাখতে পারসিস্টেন্ট ডেটাস্টোর হিসেবে Memorystore ব্যবহার করুন।
  • BigQuery ডেটাস্টোরে চূড়ান্ত ঠিকানা ক্যাশে করুন।
  • নির্দিষ্ট সময় অন্তর স্ক্রিপ্ট রান করার জন্য Cloud Scheduler সেট-আপ করুন।

এই আর্কিটেকচারের নিম্নলিখিত সুবিধাগুলি রয়েছে:

  • Cloud Scheduler ব্যবহার করে, ঠিকানা যাচাইকরণ নির্দিষ্ট সময় অন্তর করা যেতে পারে। আপনি হয়ত প্রতি মাসে ঠিকানা আবার যাচাই করতে বা প্রতি মাসে/ত্রৈমাসিক ভিত্তিতে নতুন ঠিকানা যাচাই করতে চাইবেন। এই আর্কিটেকচার সেই ব্যবহারের ক্ষেত্রে সমাধান করতে সাহায্য করে।

  • গ্রাহকের ডেটা BigQuery-তে থাকলে, যাচাই করা ঠিকানা বা যাচাইকরণ ফ্ল্যাগ সরাসরি সেখানে ক্যাশে করা যেতে পারে। মনে রাখবেন: কী ক্যাশে করা যেতে পারে এবং কীভাবে করা যেতে পারে তা হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন নিবন্ধে বিস্তারিতভাবে বর্ণনা করা হয়েছে

  • Memorystore ব্যবহার করলে আরও বেশি স্থিতিস্থাপকতা এবং আরও বেশি ঠিকানা প্রসেস করার ক্ষমতা পাওয়া যায়। এই ধাপটি সম্পূর্ণ প্রসেসিং পাইপলাইনে একটি স্টেটফুলনেস যোগ করে যা খুব বড় অ্যাড্রেস ডেটাসেট ম্যানেজ করার জন্য প্রয়োজন। Cloud SQL[https://cloud.google.com/sql]-এর মতো অন্যান্য ডেটাবেস প্রযুক্তি বা Google Cloud Platform-এর অফার করা অন্য যেকোনও ডেটাবেসের ধরন এখানেও ব্যবহার করা যেতে পারে। তবে আমরা বিশ্বাস করি যে মেমোরিস্টোর স্কেলিং এবং সরলতার প্রয়োজনীয়তার মধ্যে নিখুঁত ভারসাম্য বজায় রাখে, তাই এটি প্রথম পছন্দ হওয়া উচিত।

উপসংহার

এখানে বর্ণনা করা প্যাটার্ন প্রয়োগ করে, আপনি Google Cloud Platform-এ বিভিন্ন ব্যবহারের ক্ষেত্রে এবং বিভিন্ন ব্যবহারের ক্ষেত্র থেকে Address Validation API ব্যবহার করতে পারবেন।

উপরে বর্ণিত ব্যবহারের ক্ষেত্রে আপনাকে সাহায্য করার জন্য আমরা একটি ওপেন-সোর্স Python লাইব্রেরি লিখেছি। এটি আপনার কম্পিউটারের কমান্ড লাইন থেকে বা Google Cloud Platform বা অন্যান্য ক্লাউড পরিষেবা প্রদানকারীর থেকে চালু করা যেতে পারে।

এই নিবন্ধ থেকে লাইব্রেরি কীভাবে ব্যবহার করবেন সেই সম্পর্কে আরও জানুন।

পরবর্তী ধাপ

নির্ভরযোগ্য ঠিকানা ব্যবহার করে চেক-আউট, ডেলিভারি ও অপারেশন উন্নত করুন হোয়াইটপেপার ডাউনলোড করুন এবং ঠিকানা যাচাইকরণ ব্যবহার করে চেক-আউট, ডেলিভারি ও অপারেশন উন্নত করা ওয়েবিনার দেখুন।

আরও পড়ার জন্য সাজেস্ট করা বই:

অবদানকারী

Google এই নিবন্ধটি রক্ষণাবেক্ষণ করে। নিম্নলিখিত কন্ট্রিবিউটররা এটি লিখেছেন।
প্রধান লেখক:

হেনরিক ভালভ | সলিউশন ইঞ্জিনিয়ার
থমাস অ্যাঙ্গলেরেট | সলিউশন ইঞ্জিনিয়ার
সার্থক গাঙ্গুলি | সলিউশন ইঞ্জিনিয়ার