Giới thiệu về dữ liệu Thông tin chi tiết về biến động dân số

Tìm hiểu dữ liệu

Mặc dù các mục nhúng có ở nhiều quốc gia, nhưng giản đồ vẫn nhất quán trên tất cả các tập dữ liệu. Các vectơ nhúng được sắp xếp thành các trang thông tin riêng biệt trên BigQuery cho từng quốc gia.

Cấu trúc của vectơ nhúng

Cột features là một vectơ 330 chiều (được lưu trữ dưới dạng một mảng REPEATED FLOAT trong BigQuery). Mỗi phần của mảng tương ứng với một tín hiệu dữ liệu cụ thể do mô hình Động lực học dân số trích xuất.

Việc hiểu rõ cấu trúc này cho phép loại bỏ tính năng (ví dụ: xác định mức độ hành vi tìm kiếm dự đoán doanh số so với thời tiết).

Chỉ mục vectơ Nguồn dữ liệu Mô tả
0 – 127 Xu hướng tìm kiếm tổng hợp Ghi nhận mối quan tâm và lo ngại theo khu vực (ví dụ: cụm từ tìm kiếm "phòng tập thể dục", "triệu chứng cúm", "hàng hoá xa xỉ").
128 – 255 Bản đồ và mức độ đông đúc Ghi lại môi trường xây dựng (các địa điểm yêu thích như bệnh viện, công viên, trường học) và mật độ hoạt động của con người.
256 – 329 Thời tiết và chất lượng không khí Ghi lại bối cảnh môi trường (Nhiệt độ, Lượng mưa, AQI, Gió).

Các cột chính và siêu dữ liệu

Bảng nhúng chứa siêu dữ liệu không gian, cho phép phân tích không gian địa lý, lọc và khả năng tương tác với các dịch vụ khác của Google Maps Platform.

  • geo_id: Giá trị nhận dạng chính cho khu vực. Đối với tập dữ liệu ô S2, đây là mã thông báo ô S2 được biểu thị dưới dạng một chuỗi thập lục phân (ví dụ: '80ead45'). Hãy dùng mã này làm khoá kết hợp chính.
  • geo_name: Tên mà con người có thể đọc được của khu vực. Lưu ý: Đối với các tập dữ liệu lưới S2, các ô toán học không có tên chuẩn, vì vậy, cột này sẽ chứa mã thông báo giống hệt như geo_id. Đây là một thiết kế nhằm duy trì cấu trúc cột nhất quán trên tất cả các sản phẩm về Động lực học dân số.
  • administrative_area_level_1_id: Mã địa điểm duy nhất của Google Maps cho ranh giới hành chính cấp cao nhất (ví dụ: Tiểu bang hoặc Tỉnh).
  • administrative_area_level_1_name: Tên mà con người có thể đọc được cho ranh giới cấp cao nhất (ví dụ: 'California').
  • administrative_area_level_2_id: Mã địa điểm duy nhất của Google Maps cho ranh giới hành chính cấp hai (ví dụ: Quận hoặc Huyện).
  • administrative_area_level_2_name: Tên mà con người có thể đọc được cho ranh giới phụ (ví dụ: 'Tulare County').
  • features: Vectơ nhúng cốt lõi 330 chiều, được lưu trữ nguyên bản dưới dạng ARRAY<FLOAT64>. Để tải dữ liệu này vào thư viện Pandas Python, bạn cần phải làm phẳng hoặc chuyển đổi thành ma trận NumPy.

Câu hỏi thường gặp (FAQ)

Tôi có thể truy cập vào dữ liệu đầu vào thô (ví dụ: cụm từ tìm kiếm cụ thể hoặc dấu vết di động) không?

Không. Các thành phần nhúng Thông tin chi tiết về biến động dân số được tạo từ các tín hiệu tổng hợp, bảo đảm quyền riêng tư. Để đảm bảo quyền riêng tư của người dùng, chúng tôi không cung cấp dấu vết cụ thể của người dùng, nhật ký tìm kiếm riêng lẻ hoặc các mẫu chuyển động thô. Các vectơ nhúng cung cấp một biểu thị tiềm ẩn về những hành vi này, được tối ưu hoá cho việc mô hình hoá và dự đoán, thay vì phân tích thô.

Các phương diện vectơ có thể diễn giải được không (ví dụ: Phương diện 5 có phải là "Cà phê" không)?

Các vectơ là biểu thị tiềm ẩn, nghĩa là chúng nắm bắt các mẫu trừu tượng thay vì các nhãn cụ thể mà con người có thể đọc được. Mặc dù chúng tôi biết rằng các chỉ mục từ 0 đến 127 bắt nguồn từ Xu hướng tìm kiếm, nhưng một chỉ mục cụ thể (chẳng hạn như chỉ mục 5) không tương ứng với một từ khoá duy nhất như "Cà phê". Thay vào đó, chỉ số này thể hiện một tính năng phức tạp về hành vi tìm kiếm mà mô hình đã học được.

Tập dữ liệu có bao gồm ranh giới đa giác (Shapefile) không?

Tập dữ liệu này cung cấp mã thông báo ô S2 (geo_id) và Mã địa điểm cho các giá trị nhận dạng địa lý (chẳng hạn như khu vực hành chính cấp 1 và cấp 2), nhưng không bao gồm hình học đa giác thô (WKT/Tệp hình dạng) cho các khu vực ô S2. Việc bỏ qua các hình học thô giúp ngăn chặn tình trạng phình to bộ nhớ và giảm chi phí quét BigQuery cho các quy trình ML chỉ yêu cầu vectơ đặc trưng. Hơn nữa, việc kết hợp các mã thông báo chuỗi S2 nhanh hơn đáng kể và hiệu quả hơn về mặt tính toán so với việc thực thi các giao điểm đa giác không gian.

  • Đối với Toạ độ điểm: Để kết hợp dữ liệu điểm (chẳng hạn như vị trí của địa điểm yêu thích hoặc tâm điểm của cửa hàng) với Thông tin chi tiết về động lực học dân số, hãy chuyển đổi toạ độ vĩ độ/kinh độ thành mã thông báo ô S2 Cấp 12 bằng cách sử dụng S2_CELLIDFROMPOINT kết hợp với ST_GEOGPOINT (xem phần Chuyển đổi toạ độ điểm thành mã thông báo thập lục phân S2 Cấp 12).
  • Đối với ranh giới khu vực: Nếu cần giao nhau ranh giới tuỳ chỉnh với Thông tin chi tiết về động lực học dân số, bạn nên chuyển đổi đa giác tuỳ chỉnh thành mã thông báo ô S2 cấp 12 bao phủ bằng cách sử dụng S2_COVERINGCELLIDS (xem Tạo mã thông báo ô S2 cấp 12 bao phủ cho một đa giác) hoặc kết hợp tập dữ liệu này với các tập dữ liệu ranh giới công khai có trong Dữ liệu công khai của BigQuery.
  • Đối với việc trực quan hoá và chuyển đổi hình học: Các hàm địa lý tích hợp của BigQuery thực hiện quy trình chuyển đổi một chiều (Hình học → Mã nhận dạng ô S2). Để chuyển đổi mã thông báo ô S2 thành hình học đa giác cho các công cụ lập bản đồ hoặc GIS, bạn có thể sử dụng các thư viện phía máy khách, chẳng hạn như s2sphere của Python. Để xem mã mẫu và hướng dẫn, hãy xem phần Lấy hình học ô S2 từ mã thông báo hex S2 cấp 12.