ডেটা বোঝা
এম্বেডিং একাধিক দেশের জন্য উপলভ্য হলেও, স্কিমা সব ডেটাসেট জুড়ে একই থাকে। প্রতিটি দেশের জন্য আলাদা BigQuery তালিকায় এম্বেডিংগুলি সাজানো হয়েছে।
এম্বেডিং ভেক্টরের অ্যানাটমি
features কলামটি হল ৩৩০-ডাইমেনশনাল ভেক্টর (BigQuery-তে REPEATED FLOAT
অ্যারে হিসেবে স্টোর করা হয়)। অ্যারের প্রতিটি বিভাগ পপুলেশন ডাইনামিক্স মডেলের মাধ্যমে এক্সট্র্যাক্ট করা নির্দিষ্ট ডেটা
সিগন্যালের সাথে সম্পর্কিত।
এই স্ট্রাকচারটি বোঝার মাধ্যমে ফিচার অ্যাবলেশন (যেমন, আবহাওয়ার তুলনায় সার্চের ধরন কতটা বিক্রির পূর্বাভাস দেয় তা নির্ধারণ করা) সম্ভব হয়।
| ভেক্টর ইন্ডেক্স | ডেটা সোর্স | বিবরণ |
|---|---|---|
| ০ – ১২৭ | সার্চ ট্রেন্ডের অ্যাগ্রিগেটেড ডেটা | আঞ্চলিক আগ্রহ ও উদ্বেগ ক্যাপচার করে (যেমন, "জিম," "ফ্লুয়ের লক্ষণ," "বিলাসবহুল পণ্য" সংক্রান্ত সার্চ)। |
| ১২৮ – ২৫৫ | Maps ও ব্যস্ততা | বিল্ডিং (হাসপাতাল, পার্ক, স্কুলের মতো POI) ও মানুষের অ্যাক্টিভিটি ডেনসিটি ক্যাপচার করে। |
| ২৫৬ – ৩২৯ | আবহাওয়া ও এয়ার কোয়ালিটি | পরিবেশগত প্রসঙ্গ ক্যাপচার করে (তাপমাত্রা, বৃষ্টিপাত, AQI, বাতাস)। |
মূল কলাম ও মেটাডেটা
এম্বেডিং টেবিলে স্পেশিয়াল মেটাডেটা থাকে যা জিওস্পেশিয়াল বিশ্লেষণ, ফিল্টার করা এবং অন্যান্য Google Maps Platform পরিষেবার সাথে ইন্টারঅপারেবিলিটি করার সুবিধা দেয়।
geo_id: অঞ্চলের প্রাথমিক শনাক্তকারী। S2 cell ডেটাসেটের জন্য, এটি হল S2 সেল টোকেন যা হেক্সাডেসিমাল স্ট্রিং হিসেবে দেখানো হয় (যেমন,'80ead45')। এটি আপনার প্রাথমিক জয়েন কী হিসেবে ব্যবহার করুন।geo_name: অঞ্চলের মানুষের-পঠনযোগ্য নাম। মনে রাখবেন: S2 গ্রিড ডেটাসেটের জন্য, গাণিতিক সেলের কোনও স্ট্যান্ডার্ড নাম নেই, তাই এই কলামেgeo_id-এর মতো একই টোকেন থাকবে। সব Population Dynamics অফার জুড়ে কলামের একই ধরনের স্ট্রাকচার বজায় রাখার জন্য এটি ডিজাইন করা হয়েছে।administrative_area_level_1_id: সবচেয়ে উপরের লেভেলের প্রশাসনিক সীমানার জন্য অনন্য Google Maps প্লেস আইডি (যেমন, রাজ্য বা প্রদেশ)।administrative_area_level_1_name: টপ-লেভেল বাউন্ডারির জন্য মানুষের-পঠনযোগ্য নাম (যেমন,'California')।administrative_area_level_2_id: সেকেন্ডারি প্রশাসনিক সীমানার (যেমন, কাউন্টি বা জেলা) জন্য অনন্য Google Maps স্থান আইডি।administrative_area_level_2_name: সেকেন্ডারি বাউন্ডারির মানুষের-পঠনযোগ্য নাম (যেমন,'Tulare County')।features: মূল ৩৩০-ডাইমেনশনাল এম্বেডিং ভেক্টর, যা নেটিভভাবেARRAY<FLOAT64>হিসেবে স্টোর করা হয়। Pandas Python লাইব্রেরিতে এটি লোড করার জন্য NumPy ম্যাট্রিক্সে ফ্ল্যাটেন বা কনভার্ট করতে হবে।
প্রায়শই জিজ্ঞাসিত প্রশ্ন (FAQ)
আমি কি র ইনপুট ডেটা (যেমন, নির্দিষ্ট সার্চ কোয়েরি বা মোবিলিটি ট্রেস) অ্যাক্সেস করতে পারব?
না। জনসংখ্যার ডায়নামিক ইনসাইট এম্বেডিং এগ্রিগেট করা, গোপনীয়তা সুরক্ষিত রাখার সিগন্যাল থেকে জেনারেট করা হয়। ব্যবহারকারীর গোপনীয়তা নিশ্চিত করতে, আমরা নির্দিষ্ট ব্যবহারকারীর ট্রেস, ব্যক্তিগত সার্চ ইতিহাস বা কাঁচা মুভমেন্ট প্যাটার্ন প্রদান করি না। এম্বেডিং এইসব আচরণের একটি সুপ্ত উপস্থাপনা প্রদান করে, যা কাঁচা অ্যানালিটিক্সের পরিবর্তে মডেলিং ও পূর্বাভাসের জন্য অপ্টিমাইজ করা হয়।
ভেক্টর ডাইমেনশন কি ব্যাখ্যা করা যায় (যেমন, ডাইমেনশন ৫ কি "কফি")?
ভেক্টরগুলি হল সুপ্ত উপস্থাপনা, যার অর্থ হল তারা নির্দিষ্ট, মানুষের-পঠনযোগ্য লেবেলের পরিবর্তে বিমূর্ত প্যাটার্ন ক্যাপচার করে। আমরা জানি যে ইন্ডেক্স ০–১২৭ সার্চ ট্রেন্ড থেকে পাওয়া যায়, তবে নির্দিষ্ট ইন্ডেক্স (যেমন, ইন্ডেক্স ৫) "কফি"-এর মতো সিঙ্গেল কীওয়ার্ডের সাথে ওয়ান-টু-ওয়ান ম্যাপ করে না। পরিবর্তে, এটি মডেলের মাধ্যমে শেখা সার্চের ধরনের একটি জটিল ফিচারকে উপস্থাপন করে।
ডেটা সেটে কি পলিগন বাউন্ডারি (শেপফাইল) অন্তর্ভুক্ত আছে?
ডেটাসেটটি ভৌগোলিক শনাক্তকারীর (যেমন অ্যাডমিন ১ এবং অ্যাডমিন ২ অঞ্চল) জন্য S2 সেল টোকেন (geo_id) এবং স্থান আইডি প্রদান করে, তবে এতে S2 সেল অঞ্চলের জন্য কাঁচা পলিগন জ্যামিতি (WKT/শেপফাইল) অন্তর্ভুক্ত নেই। কাঁচা
জ্যামিতি বাদ দিলে স্টোরেজ ফুলেফেঁপে ওঠা আটকানো যায় এবং ML
পাইপলাইনের জন্য BigQuery স্ক্যান করার খরচ কমে যায়, কারণ এতে শুধুমাত্র ফিচার ভেক্টর প্রয়োজন হয়। এছাড়াও, S2 স্ট্রিং
টোকেন যোগ করা
স্পেশিয়াল পলিগন ইন্টারসেকশন এক্সিকিউট করার থেকে অনেক বেশি দ্রুত এবং কম্পিউটেশনাল দিক থেকে অনেক বেশি এফিশিয়েন্ট।
- পয়েন্ট কোঅর্ডিনেটের জন্য: পয়েন্ট ডেটা (যেমন, POI লোকেশন বা
স্টোর সেন্ট্রয়েড) Population Dynamics Insights-এর সাথে যোগ করতে,
ST_GEOGPOINT-এর সাথেS2_CELLIDFROMPOINTব্যবহার করে অক্ষাংশ/দ্রাঘিমাংশ কোঅর্ডিনেটকে S2 লেভেল ১২ সেল টোকেনে কনভার্ট করুন (পয়েন্ট কোঅর্ডিনেটকে S2 লেভেল ১২ হেক্স টোকেনে কনভার্ট করুন দেখুন)। - এলাকার সীমানার জন্য: আপনাকে যদি কাস্টম সীমানা ও
Population Dynamics Insights-এর ইন্টারসেকশন করতে হয়, তাহলে আমরা সাজেস্ট করি যে আপনার কাস্টম পলিগনকে
S2 লেভেল ১২ সেল টোকেন কভার করার জন্য কনভার্ট করুন। এর জন্য
S2_COVERINGCELLIDSব্যবহার করুন (দেখুন পলিগনের জন্য S2 লেভেল ১২ সেল টোকেন কভার করা জেনারেট করুন) অথবা এই ডেটাসেটকে BigQuery পাবলিক ডেটাতে উপলভ্য পাবলিক সীমানা ডেটাসেটের সাথে যুক্ত করুন। - ভিজ্যুয়ালাইজেশন ও জিওমেট্রি কনভার্সনের জন্য: BigQuery-এর বিল্ট-ইন জিওগ্রাফি
ফাংশন একমুখী কনভার্সন (জিওমেট্রি → S2 সেল আইডি) করে। ম্যাপিং বা GIS টুলের জন্য S2 সেল টোকেনকে পলিগন জিওমেট্রিতে
পরিবর্তন করতে, আপনি Python-এর
s2sphere-এর মতো ক্লায়েন্ট-সাইড লাইব্রেরি ব্যবহার করতে পারেন। কোডের স্যাম্পেল ও নির্দেশাবলীর জন্য, S2 লেভেল ১২ হেক্স টোকেন থেকে S2 সেল জিওমেট্রি পান দেখুন।