Tentang data Insight Dinamika Populasi

Memahami Data

Meskipun embedding tersedia untuk beberapa negara, skemanya tetap konsisten di semua set data. Embedding diatur ke dalam listingan BigQuery terpisah untuk setiap negara.

Anatomi Vektor Embedding

Kolom features adalah vektor 330 dimensi (disimpan sebagai array REPEATED FLOAT di BigQuery). Setiap bagian array sesuai dengan sinyal data tertentu yang diekstrak oleh model Dinamika Populasi.

Memahami struktur ini memungkinkan penghapusan fitur (misalnya, menentukan seberapa besar perilaku penelusuran memprediksi penjualan dibandingkan dengan cuaca).

Indeks vektor Sumber data Deskripsi
0 – 127 Tren Penelusuran Gabungan Mencatat minat konsumen gabungan dan anonim di tingkat regional (misalnya, minat penelusuran regional relatif terhadap 'perbaikan rumah', 'sepatu lari', atau 'kendaraan listrik'). Kueri mentah tidak pernah terekspos.
128 – 255 Maps dan Tingkat Kesibukan Mencatat lingkungan buatan (POI seperti restoran, taman, sekolah) serta tingkat kesibukan gabungan dan anonim di tempat umum.
256 – 329 Cuaca dan Kualitas Udara Merekam konteks lingkungan (seperti Suhu, Presipitasi, AQI, Angin).

Kolom dan metadata utama

Tabel embedding berisi metadata spasial yang memungkinkan analisis geospasial, pemfilteran, dan interoperabilitas dengan layanan Google Maps Platform lainnya.

  • geo_id: ID utama untuk region. Untuk set data sel S2, ini adalah token sel S2 yang direpresentasikan sebagai string heksadesimal (misalnya, '80ead45'). Gunakan ini sebagai kunci gabungan utama Anda.
  • geo_name: Nama region yang dapat dibaca manusia. Catatan: Untuk set data petak S2, sel matematika tidak memiliki nama standar, sehingga kolom ini akan berisi token yang sama persis dengan geo_id. Hal ini dilakukan untuk mempertahankan struktur kolom yang konsisten di semua penawaran Dinamika Populasi.
  • administrative_area_level_1_id: ID Tempat Google Maps unik untuk batas administratif tingkat teratas (misalnya, Negara Bagian atau Provinsi).
  • administrative_area_level_1_name: Nama yang dapat dibaca manusia untuk batas tingkat teratas (misalnya, 'California').
  • administrative_area_level_2_id: ID Tempat Google Maps yang unik untuk batas administratif sekunder (misalnya, Kabupaten atau Distrik).
  • administrative_area_level_2_name: Nama yang dapat dibaca manusia untuk batas sekunder (misalnya, 'Tulare County').
  • features: Vektor embedding 330 dimensi inti, yang disimpan secara native sebagai ARRAY<FLOAT64>. Memuatnya ke library Python Pandas memerlukan perataan atau konversi ke matriks NumPy.

Pertanyaan umum (FAQ)

Dapatkah saya mengakses data input mentah (misalnya, kueri penelusuran atau jejak mobilitas tertentu)?

Tidak. Embedding Insight Dinamika Populasi dihasilkan dari sinyal gabungan yang menjaga privasi. Untuk memastikan privasi pengguna, kami tidak memberikan pelacakan pengguna tertentu, histori penelusuran individu, atau pola pergerakan mentah. Embedding memberikan representasi laten dari perilaku ini, yang dioptimalkan untuk pemodelan dan prediksi, bukan analisis mentah.

Apakah dimensi vektor dapat diinterpretasikan (misalnya, apakah Dimensi 5 adalah "Kopi")?

Vektor adalah representasi laten, yang berarti vektor menangkap pola abstrak, bukan label spesifik yang dapat dibaca manusia. Meskipun kita tahu bahwa indeks 0–127 berasal dari Tren Penelusuran, indeks tertentu (seperti indeks 5) tidak dipetakan satu-ke-satu ke satu kata kunci seperti "Kopi". Sebaliknya, fitur ini mewakili fitur kompleks perilaku penelusuran yang dipelajari oleh model.

Apakah set data menyertakan batas poligon (Shapefile)?

Set data ini menyediakan token sel S2 (geo_id) dan ID Tempat untuk ID geografis (seperti wilayah admin 1 dan admin 2), tetapi tidak menyertakan geometri poligon mentah (WKT/Shapefile) untuk wilayah sel S2. Menghilangkan geometri mentah mencegah pembengkakan penyimpanan dan mengurangi biaya pemindaian BigQuery untuk pipeline ML yang hanya memerlukan vektor fitur. Selain itu, penggabungan pada token string S2 jauh lebih cepat dan lebih efisien secara komputasi daripada menjalankan persimpangan poligon spasial.

  • Untuk Koordinat Titik: Untuk menggabungkan data titik (seperti lokasi POI atau centroid toko) dengan Population Dynamics Insights, konversikan koordinat lintang/bujur menjadi token sel S2 Level 12 menggunakan S2_CELLIDFROMPOINT yang digabungkan dengan ST_GEOGPOINT (lihat Mengonversi koordinat titik menjadi token heksadesimal S2 Level 12).
  • Untuk Batas Area: Jika Anda perlu menyatukan batas kustom dengan Insight Dinamika Populasi, sebaiknya konversi poligon kustom Anda menjadi token sel S2 Level 12 yang mencakup menggunakan S2_COVERINGCELLIDS (lihat Membuat token sel S2 Level 12 yang mencakup untuk poligon) atau gabungkan set data ini dengan set data batas publik yang tersedia di Data Publik BigQuery.
  • Untuk Visualisasi dan Konversi Geometri: Fungsi geografi bawaan BigQuery melakukan konversi satu arah (Geometri → ID Sel S2). Untuk mengonversi token sel S2 menjadi geometri poligon untuk alat pemetaan atau GIS, Anda dapat menggunakan library sisi klien, seperti s2sphere Python. Untuk mengetahui contoh kode dan petunjuk, lihat Mendapatkan geometri sel S2 dari token hex S2 Level 12.