درباره داده‌های بینش‌های پویایی‌شناسی جمعیت

داده‌ها را درک کنید

اگرچه این جاسازی‌ها برای چندین کشور در دسترس هستند، اما طرح کلی در تمام مجموعه داده‌ها ثابت می‌ماند. جاسازی‌ها برای هر کشور در فهرست‌های جداگانه BigQuery سازماندهی شده‌اند.

آناتومی بردار جاسازی

ستون features یک بردار ۳۳۰ بعدی است (که به صورت آرایه REPEATED FLOAT در BigQuery ذخیره شده است). هر بخش از آرایه مربوط به یک سیگنال داده خاص است که توسط مدل Population Dynamics استخراج شده است.

درک این ساختار امکان حذف ویژگی‌ها را فراهم می‌کند (برای مثال، تعیین اینکه رفتار جستجو در مقایسه با آب و هوا چقدر فروش را پیش‌بینی می‌کند).

شاخص‌های برداری	منبع داده	توضیحات
۰ – ۱۲۷	روندهای جستجوی تجمیع‌شده	علایق و دغدغه‌های منطقه‌ای را در بر می‌گیرد (برای مثال، جستجو برای «باشگاه ورزشی»، «علائم آنفولانزا»، «کالاهای لوکس»).
۱۲۸ – ۲۵۵	نقشه‌ها و شلوغی	محیط ساخته شده (مکان‌های مورد توجه مانند بیمارستان‌ها، پارک‌ها، مدارس) و تراکم فعالیت‌های انسانی را ثبت می‌کند.
۲۵۶ – ۳۲۹	آب و هوا و کیفیت هوا	اطلاعات محیطی (دما، بارش، شاخص کیفیت هوا، باد) را ثبت می‌کند.

ستون‌های کلیدی و فراداده‌ها

جدول جاسازی‌ها شامل فراداده‌های مکانی است که امکان تجزیه و تحلیل جغرافیایی، فیلتر کردن و قابلیت همکاری با سایر سرویس‌های پلتفرم نقشه‌های گوگل را فراهم می‌کند.

• geo_id : شناسه اصلی منطقه. برای مجموعه داده‌های سلول S2 ، این توکن سلول S2 است که به صورت یک رشته هگزادسیمال نمایش داده می‌شود (برای مثال، '80ead45' ). از این به عنوان کلید اتصال اصلی خود استفاده کنید.
• geo_name : نام قابل خواندن توسط انسان برای منطقه. توجه: برای مجموعه داده‌های شبکه‌ای S2، سلول‌های ریاضی نام‌های استانداردی ندارند، بنابراین این ستون دقیقاً همان توکن geo_id را خواهد داشت. این طراحی برای حفظ ساختار ستونی ثابت در تمام ارائه‌های Population Dynamics انجام شده است.
• administrative_area_level_1_id : شناسه مکانی منحصر به فرد گوگل مپ برای مرز اداری سطح بالا (مثلاً ایالت یا استان).
• administrative_area_level_1_name : نام قابل خواندن توسط انسان برای مرز سطح بالا (برای مثال، 'California' ).
• administrative_area_level_2_id : شناسه مکانی منحصر به فرد گوگل مپ برای مرز اداری ثانویه (مثلاً شهرستان یا منطقه).
• administrative_area_level_2_name : نام قابل خواندن توسط انسان برای مرز ثانویه (برای مثال، 'Tulare County' ).
• features : بردار جاسازی ۳۳۰ بعدی اصلی، که به صورت پیش‌فرض به صورت ARRAY<FLOAT64> ذخیره می‌شود. بارگذاری این در کتابخانه پایتون Pandas نیاز به مسطح‌سازی یا تبدیل به یک ماتریس NumPy دارد.

نکته: هنگام اتصال داده‌های خود با جاسازی‌ها، از شناسه‌های مکان ( administrative_area_level_1_id و administrative_area_level_2_id ) استفاده کنید. این کار به جای تکیه بر تطبیق رشته‌ای فازی نام‌های جغرافیایی که می‌تواند مستعد خطا باشد، دقت و صحت بالاتری را تضمین می‌کند.

سوالات متداول (FAQ)

آیا می‌توانم به داده‌های ورودی خام (مثلاً، جستجوهای خاص یا ردیابی‌های تحرک) دسترسی داشته باشم؟

خیر. داده‌های جاسازی‌شده‌ی Population Dynamics Insights از سیگنال‌های تجمیع‌شده و با حفظ حریم خصوصی تولید می‌شوند. برای اطمینان از حریم خصوصی کاربر، ما ردپاهای خاص کاربر، تاریخچه‌ی جستجوی فردی یا الگوهای حرکتی خام را ارائه نمی‌دهیم. این داده‌ها به جای تجزیه و تحلیل خام، نمایشی پنهان از این رفتارها را ارائه می‌دهند که برای مدل‌سازی و پیش‌بینی بهینه شده است.

آیا ابعاد برداری قابل تفسیر هستند (برای مثال، آیا بُعد ۵ «قهوه» است)؟

این بردارها، بازنمایی‌های پنهان هستند، به این معنی که آنها الگوهای انتزاعی را به جای برچسب‌های خاص و قابل خواندن توسط انسان، ثبت می‌کنند. در حالی که می‌دانیم شاخص‌های ۰ تا ۱۲۷ از روندهای جستجو (Search Trends) مشتق می‌شوند، یک شاخص خاص (مانند شاخص ۵) به صورت یک به یک به یک به یک کلمه کلیدی مانند "قهوه" نگاشت نمی‌شود. در عوض، این شاخص، یک ویژگی پیچیده از رفتار جستجو را که توسط مدل آموخته شده است، نشان می‌دهد.

آیا مجموعه داده‌ها شامل مرزهای چندضلعی (Shapefiles) می‌شود؟

این مجموعه داده، توکن‌های سلول S2 ( geo_id ) و شناسه‌های مکان را برای شناسه‌های جغرافیایی (مانند مناطق ادمین ۱ و ادمین ۲) ارائه می‌دهد، اما شامل هندسه چندضلعی خام (WKT/Shapefiles) برای مناطق سلول S2 نمی‌شود. حذف هندسه‌های خام از حجم ذخیره‌سازی جلوگیری می‌کند و هزینه‌های اسکن BigQuery را برای خطوط لوله یادگیری ماشین که فقط به بردارهای ویژگی نیاز دارند، کاهش می‌دهد. علاوه بر این، اتصال روی توکن‌های رشته‌ای S2 به طور قابل توجهی سریع‌تر و از نظر محاسباتی کارآمدتر از اجرای تقاطع‌های چندضلعی مکانی است.

• برای مختصات نقطه‌ای: برای اتصال داده‌های نقطه‌ای (مانند مکان‌های POI یا مراکز ذخیره) با Population Dynamics Insights، مختصات lat/lng را با استفاده از S2_CELLIDFROMPOINT همراه با ST_GEOGPOINT به توکن‌های سلولی سطح ۱۲ S2 تبدیل کنید ( به تبدیل مختصات نقطه به توکن‌های هگز سطح ۱۲ S2 مراجعه کنید).
• برای مرزهای ناحیه‌ای: اگر نیاز دارید مرزهای سفارشی را با Population Dynamics Insights قطع کنید، توصیه می‌کنیم چندضلعی‌های سفارشی خود را با استفاده از S2_COVERINGCELLIDS به توکن‌های سلولی پوشش‌دهنده S2 سطح ۱۲ تبدیل کنید (به بخش «ایجاد توکن‌های سلولی پوشش‌دهنده S2 سطح ۱۲ برای یک چندضلعی» مراجعه کنید ) یا این مجموعه داده را با مجموعه داده‌های مرزی عمومی موجود در BigQuery Public Data پیوند دهید.
• برای تجسم و تبدیل هندسه: توابع جغرافیایی داخلی BigQuery تبدیل یک طرفه را انجام می‌دهند (Geometry → S2 Cell ID). برای تبدیل توکن‌های سلول S2 به هندسه‌های چندضلعی برای نقشه‌برداری یا ابزارهای GIS، می‌توانید از کتابخانه‌های سمت کلاینت، مانند s2sphere پایتون، استفاده کنید. برای نمونه کدها و دستورالعمل‌ها، به Get S2 cell geometry from an S2 Level 12 token مراجعه کنید.