Giới thiệu về dữ liệu Thông tin chi tiết về biến động dân số

Tìm hiểu dữ liệu

Mặc dù vectơ nhúng có sẵn cho nhiều quốc gia, nhưng giản đồ vẫn nhất quán trên tất cả các tập dữ liệu. Vectơ nhúng được sắp xếp thành các danh sách riêng biệt trong BigQuery cho từng quốc gia.

Phân tích vectơ nhúng

Cột features là một vectơ 330 chiều (được lưu trữ dưới dạng một mảng REPEATED FLOAT trong BigQuery). Mỗi phần của mảng tương ứng với một tín hiệu dữ liệu cụ thể do mô hình Động lực học dân số trích xuất.

Việc hiểu cấu trúc này cho phép loại bỏ tính năng (ví dụ: xác định mức độ dự đoán doanh số bán hàng của hành vi tìm kiếm so với thời tiết).

Chỉ mục vectơ Nguồn dữ liệu Mô tả
0 – 127 Xu hướng tìm kiếm tổng hợp Ghi lại mối quan tâm và mối lo ngại theo khu vực (ví dụ: tìm kiếm "phòng tập thể dục", "triệu chứng cúm", "hàng xa xỉ").
128 – 255 Maps và Mức độ bận rộn Ghi lại môi trường nhân tạo (các địa điểm được quan tâm như bệnh viện, công viên, trường học) và mật độ hoạt động của con người.
256 – 329 Thời tiết và Chất lượng không khí Ghi lại bối cảnh môi trường (Nhiệt độ, Lượng mưa, AQI, Gió).

Các cột và siêu dữ liệu chính

Bảng vectơ nhúng chứa siêu dữ liệu không gian cho phép phân tích không gian địa lý, lọc và khả năng tương tác với các dịch vụ khác của Google Maps Platform.

  • geo_id: Giá trị nhận dạng chính cho khu vực. Đối với tập dữ liệu ô S2 cell, đây là mã thông báo ô S2 được biểu thị dưới dạng chuỗi thập lục phân (ví dụ: '80ead45'). Hãy dùng mã này làm khoá kết hợp chính.
  • geo_name: Tên mà con người có thể đọc được cho khu vực. Lưu ý: Đối với tập dữ liệu lưới S2, các ô toán học không có tên chuẩn, vì vậy, cột này sẽ chứa chính xác mã thông báo giống như geo_id. Đây là thiết kế nhằm duy trì cấu trúc cột nhất quán trên tất cả các sản phẩm Động lực học dân số.
  • administrative_area_level_1_id: Mã địa điểm duy nhất trên Google Maps cho ranh giới hành chính cấp cao nhất (ví dụ: Tiểu bang hoặc Tỉnh).
  • administrative_area_level_1_name: Tên mà con người có thể đọc được cho ranh giới cấp cao nhất (ví dụ: 'California').
  • administrative_area_level_2_id: Mã địa điểm duy nhất trên Google Maps cho ranh giới hành chính thứ cấp (ví dụ: Quận).
  • administrative_area_level_2_name: Tên mà con người có thể đọc được cho ranh giới thứ cấp (ví dụ: 'Tulare County').
  • features: Vectơ nhúng cốt lõi 330 chiều, được lưu trữ nguyên bản dưới dạng ARRAY<FLOAT64>. Việc tải vectơ này vào thư viện Pandas Python yêu cầu làm phẳng hoặc chuyển đổi thành ma trận NumPy.

Câu hỏi thường gặp

Tôi có thể truy cập vào dữ liệu đầu vào thô (ví dụ: cụm từ tìm kiếm cụ thể hoặc dấu vết di chuyển) không?

Không. Vectơ nhúng Thông tin chi tiết về động lực học dân số được tạo từ các tín hiệu tổng hợp, bảo vệ quyền riêng tư. Để đảm bảo quyền riêng tư của người dùng, chúng tôi không cung cấp dấu vết cụ thể của người dùng, nhật ký hoạt động trên Tìm kiếm riêng lẻ hoặc mẫu di chuyển thô. Vectơ nhúng cung cấp một biểu diễn tiềm ẩn của các hành vi này, được tối ưu hoá cho việc mô hình hoá và dự đoán, thay vì phân tích thô.

Các chiều vectơ có thể diễn giải được không (ví dụ: Chiều 5 là "Cà phê")?

Các vectơ là biểu diễn tiềm ẩn, nghĩa là chúng ghi lại các mẫu trừu tượng thay vì các nhãn cụ thể mà con người có thể đọc được. Mặc dù chúng tôi biết rằng các chỉ mục 0–127 bắt nguồn từ Xu hướng tìm kiếm, nhưng một chỉ mục cụ thể (như chỉ mục 5) không ánh xạ từng chỉ mục một với một từ khoá duy nhất như "Cà phê". Thay vào đó, chỉ mục này biểu thị một tính năng phức tạp của hành vi tìm kiếm mà mô hình đã học được.

Tập dữ liệu có bao gồm ranh giới đa giác (tệp Shapefile) không?

Tập dữ liệu cung cấp mã thông báo ô S2 (geo_id) và Mã địa điểm cho giá trị nhận dạng địa lý (chẳng hạn như khu vực quản trị cấp 1 và khu vực quản trị cấp 2), nhưng không bao gồm hình học đa giác thô (WKT/Shapefile) cho các khu vực ô S2. Việc bỏ qua hình học thô giúp ngăn chặn tình trạng phình to bộ nhớ và giảm chi phí quét BigQuery cho các quy trình ML chỉ yêu cầu vectơ tính năng. Hơn nữa, việc kết hợp trên các mã thông báo chuỗi S2 nhanh hơn và hiệu quả hơn về mặt tính toán so với việc thực thi các giao điểm đa giác không gian.

  • Đối với toạ độ điểm: Để kết hợp dữ liệu điểm (chẳng hạn như vị trí địa điểm yêu thích hoặc tâm của cửa hàng) với Thông tin chi tiết về động lực học dân số, hãy chuyển đổi toạ độ vĩ độ/kinh độ thành mã thông báo ô S2 Cấp 12 bằng cách sử dụng S2_CELLIDFROMPOINT kết hợp với ST_GEOGPOINT (xem Chuyển đổi toạ độ điểm thành mã thông báo hex S2 Cấp 12).
  • Đối với ranh giới khu vực: Nếu bạn cần giao các ranh giới tuỳ chỉnh với Thông tin chi tiết về động lực học dân số, bạn nên chuyển đổi các đa giác tuỳ chỉnh thành mã thông báo ô S2 Cấp 12 bao phủ bằng cách sử dụng S2_COVERINGCELLIDS (xem bài viết Tạo mã thông báo ô S2 Cấp 12 bao phủ cho một đa giác) hoặc kết hợp tập dữ liệu này với các tập dữ liệu ranh giới công khai có trong Dữ liệu công khai của BigQuery.
  • Đối với việc trực quan hoá và chuyển đổi hình học: Các hàm địa lý tích hợp của BigQuery thực hiện chuyển đổi một chiều (Hình học → Mã ô S2). Để chuyển đổi mã thông báo ô S2 thành hình học đa giác cho các công cụ lập bản đồ hoặc GIS, bạn có thể sử dụng các thư viện phía máy khách, chẳng hạn như s2sphere của Python. Để xem mã mẫu và hướng dẫn, hãy xem bài viết Lấy hình học ô S2 từ mã thông báo hex S2 Cấp 12.