উদ্দেশ্য
হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন টিউটোরিয়ালটি আপনাকে বিভিন্ন পরিস্থিতি সম্পর্কে ধারণা দিয়েছে যেখানে হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন ব্যবহার করা যেতে পারে। এই টিউটোরিয়ালে, আমরা আপনাকে হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন চালানোর জন্য গুগল ক্লাউড প্ল্যাটফর্মের বিভিন্ন ডিজাইন প্যাটার্নের সাথে পরিচয় করিয়ে দেব।
আমরা প্রথমে গুগল ক্লাউড প্ল্যাটফর্মে ক্লাউড রান, কম্পিউট ইঞ্জিন বা গুগল কুবারনেটিস ইঞ্জিন ব্যবহার করে এককালীন সম্পাদনের জন্য বিপুল পরিমাণ অ্যাড্রেস ভ্যালিডেশন চালানোর একটি সংক্ষিপ্ত বিবরণ দিয়ে শুরু করব। এরপর আমরা দেখব কিভাবে এই সক্ষমতাটিকে একটি ডেটা পাইপলাইনের অংশ হিসেবে অন্তর্ভুক্ত করা যায়।
এই নিবন্ধটির শেষে, আপনার গুগল ক্লাউড পরিবেশে বিপুল পরিমাণে অ্যাড্রেস ভ্যালিডেশন চালানোর বিভিন্ন বিকল্প সম্পর্কে আপনার একটি ভালো ধারণা হয়ে যাবে।
গুগল ক্লাউড প্ল্যাটফর্মে রেফারেন্স আর্কিটেকচার
এই বিভাগে গুগল ক্লাউড প্ল্যাটফর্ম ব্যবহার করে বিপুল সংখ্যক ঠিকানা যাচাইকরণের বিভিন্ন ডিজাইন প্যাটার্ন নিয়ে বিস্তারিত আলোচনা করা হয়েছে। গুগল ক্লাউড প্ল্যাটফর্মে চলার মাধ্যমে, আপনি এটিকে আপনার বিদ্যমান প্রক্রিয়া এবং ডেটা পাইপলাইনের সাথে একীভূত করতে পারেন।
গুগল ক্লাউড প্ল্যাটফর্মে এককালীন বিপুল সংখ্যক ঠিকানা যাচাইকরণ চালানো হচ্ছে
নিচে গুগল ক্লাউড প্ল্যাটফর্মে একটি ইন্টিগ্রেশন তৈরির রেফারেন্স আর্কিটেকচার দেখানো হলো, যা এককালীন অপারেশন বা টেস্টিংয়ের জন্য বেশি উপযুক্ত।
এক্ষেত্রে, আমরা CSV ফাইলটি একটি ক্লাউড স্টোরেজ বাকেটে আপলোড করার পরামর্শ দিই। এরপর হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন স্ক্রিপ্টটি একটি ক্লাউড রান এনভায়রনমেন্ট থেকে চালানো যেতে পারে। তবে আপনি এটি কম্পিউট ইঞ্জিন বা গুগল কুবারনেটিস ইঞ্জিনের মতো অন্য যেকোনো রানটাইম এনভায়রনমেন্টেও চালাতে পারেন। আউটপুট CSV ফাইলটিও ক্লাউড স্টোরেজ বাকেটে আপলোড করা যেতে পারে।
গুগল ক্লাউড প্ল্যাটফর্ম ডেটা পাইপলাইন হিসাবে চলছে
পূর্ববর্তী বিভাগে দেখানো ডেপ্লয়মেন্ট প্যাটার্নটি এককালীন ব্যবহারের জন্য হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন দ্রুত পরীক্ষা করার ক্ষেত্রে চমৎকার। তবে, যদি আপনাকে এটি একটি ডেটা পাইপলাইনের অংশ হিসাবে নিয়মিত ব্যবহার করতে হয়, তাহলে এটিকে আরও শক্তিশালী করার জন্য আপনি গুগল ক্লাউড প্ল্যাটফর্মের নিজস্ব সক্ষমতাগুলোকে আরও ভালোভাবে কাজে লাগাতে পারেন। আপনি যে পরিবর্তনগুলো করতে পারেন তার মধ্যে কয়েকটি হলো:
- এক্ষেত্রে, আপনি ক্লাউড স্টোরেজ বাকেটে CSV ফাইলগুলো রাখতে পারেন।
- একটি ডেটাফ্লো জব প্রসেস করার জন্য অ্যাড্রেসগুলো সংগ্রহ করে বিগকোয়েরিতে ক্যাশ করতে পারে।
- ডেটাফ্লো জব থেকে প্রাপ্ত অ্যাড্রেসগুলো যাচাই করার জন্য, ডেটাফ্লো পাইথন লাইব্রেরিটিকে উচ্চ-পরিমাণ অ্যাড্রেস যাচাইকরণের লজিক অন্তর্ভুক্ত করতে সম্প্রসারিত করা যেতে পারে।
একটি ডেটা পাইপলাইন থেকে স্ক্রিপ্টটি একটি দীর্ঘস্থায়ী পুনরাবৃত্তিমূলক প্রক্রিয়া হিসাবে চালানো হচ্ছে
আরেকটি প্রচলিত পদ্ধতি হলো, একটি পুনরাবৃত্তিমূলক প্রক্রিয়া হিসেবে স্ট্রিমিং ডেটা পাইপলাইনের অংশ হিসেবে একগুচ্ছ ঠিকানা যাচাই করা। ঠিকানাগুলো আপনার একটি বিগকোয়েরি ডেটাস্টোরেও থাকতে পারে। এই পদ্ধতিতে আমরা দেখব কীভাবে একটি পুনরাবৃত্তিমূলক ডেটা পাইপলাইন তৈরি করতে হয় (যা দৈনিক/সাপ্তাহিক/মাসিক ভিত্তিতে চালু করার প্রয়োজন হয়)।
- প্রাথমিক CSV ফাইলটি একটি ক্লাউড স্টোরেজ বাকেটে আপলোড করুন।
- দীর্ঘক্ষণ ধরে চলমান প্রসেসের অন্তর্বর্তীকালীন অবস্থা বজায় রাখার জন্য মেমোরিস্টোরকে একটি স্থায়ী ডেটাস্টোর হিসেবে ব্যবহার করুন।
- চূড়ান্ত ঠিকানাগুলো একটি BigQuery ডেটাস্টোরে ক্যাশ করুন।
- স্ক্রিপ্টটি পর্যায়ক্রমে চালানোর জন্য ক্লাউড শিডিউলার সেট আপ করুন।
এই স্থাপত্যের নিম্নলিখিত সুবিধাগুলো রয়েছে:
- ক্লাউড শিডিউলার ব্যবহার করে পর্যায়ক্রমে ঠিকানা যাচাইকরণ করা যেতে পারে। আপনি হয়তো মাসিক ভিত্তিতে ঠিকানাগুলো পুনরায় যাচাই করতে চাইতে পারেন অথবা মাসিক/ত্রৈমাসিক ভিত্তিতে যেকোনো নতুন ঠিকানা যাচাই করতে চাইতে পারেন। এই আর্কিটেকচারটি সেই ধরনের ব্যবহারের প্রয়োজন মেটাতে সাহায্য করে।
যদি গ্রাহকের ডেটা BigQuery- তে থাকে, তাহলে যাচাইকৃত ঠিকানা বা ভ্যালিডেশন ফ্ল্যাগগুলো সরাসরি সেখানেই ক্যাশ করা যেতে পারে। দ্রষ্টব্য: কী ক্যাশ করা যায় এবং কীভাবে, তা "হাই ভলিউম অ্যাড্রেস ভ্যালিডেশন" নিবন্ধে বিস্তারিতভাবে বর্ণনা করা হয়েছে।
মেমোরিস্টোর ব্যবহার করলে উচ্চতর স্থিতিস্থাপকতা এবং আরও বেশি অ্যাড্রেস প্রসেস করার ক্ষমতা পাওয়া যায়। এই পদক্ষেপটি সম্পূর্ণ প্রসেসিং পাইপলাইনে একটি স্টেটফুলনেস যোগ করে, যা অত্যন্ত বৃহৎ অ্যাড্রেস ডেটাসেট পরিচালনার জন্য প্রয়োজন। ক্লাউড SQL [https://cloud.google.com/sql] বা গুগল ক্লাউড প্ল্যাটফর্মের দেওয়া অন্য যেকোনো ধরনের ডেটাবেসের মতো অন্যান্য ডেটাবেস প্রযুক্তিও এখানে ব্যবহার করা যেতে পারে। তবে আমরা বিশ্বাস করি যে মেমোরিস্টোর স্কেলিং এবং সরলতার চাহিদার মধ্যে নিখুঁত ভারসাম্য রক্ষা করে, তাই এটিই প্রথম পছন্দ হওয়া উচিত।
উপসংহার
এখানে বর্ণিত পদ্ধতিগুলো প্রয়োগ করে, আপনি গুগল ক্লাউড প্ল্যাটফর্মে বিভিন্ন ক্ষেত্রে এবং বিভিন্ন পরিস্থিতি থেকে অ্যাড্রেস ভ্যালিডেশন এপিআই ব্যবহার করতে পারবেন।
উপরে বর্ণিত ব্যবহারের ক্ষেত্রগুলো শুরু করতে আপনাকে সাহায্য করার জন্য আমরা একটি ওপেন-সোর্স পাইথন লাইব্রেরি লিখেছি। এটি আপনার কম্পিউটারের কমান্ড লাইন থেকে অথবা গুগল ক্লাউড প্ল্যাটফর্ম বা অন্যান্য ক্লাউড প্রোভাইডার থেকে চালু করা যেতে পারে।
এই নিবন্ধটি থেকে লাইব্রেরিটি কীভাবে ব্যবহার করতে হয় সে সম্পর্কে আরও জানুন।
পরবর্তী পদক্ষেপ
"নির্ভরযোগ্য ঠিকানার মাধ্যমে চেকআউট, ডেলিভারি এবং অপারেশন উন্নত করুন" শীর্ষক হোয়াইটপেপারটি ডাউনলোড করুন এবং "ঠিকানা যাচাইকরণের মাধ্যমে চেকআউট, ডেলিভারি এবং অপারেশন উন্নত করুন" ওয়েবিনারটি দেখুন।
আরও পড়ার জন্য পরামর্শ:
অবদানকারীরা
গুগল এই নিবন্ধটি রক্ষণাবেক্ষণ করে। নিম্নলিখিত অবদানকারীরা মূলত এটি লিখেছেন।
প্রধান লেখকগণ:
হেনরিক ভালভ | সলিউশনস ইঞ্জিনিয়ার
টমাস অ্যাংলারেট | সলিউশনস ইঞ্জিনিয়ার
সার্থক গাঙ্গুলি | সমাধান প্রকৌশলী