О данных в статистике динамики населения

Как анализировать данные

Встраивания доступны для нескольких стран, но схема остается одинаковой для всех наборов данных. Эмбеддинги организованы в отдельные списки BigQuery для каждой страны.

Структура вектора эмбеддинга

Столбец features представляет собой 330-мерный вектор (хранится как массив REPEATED FLOAT в BigQuery). Каждый раздел массива соответствует определенному сигналу данных, извлеченному моделью динамики населения.

Понимание этой структуры позволяет проводить удаление признаков (например, определять, насколько поведение при поиске предсказывает продажи по сравнению с погодой).

Векторные индексы Источник данных Описание
0 – 127 Агрегированные поисковые тенденции Собирает агрегированные и анонимизированные данные об интересах потребителей на региональном уровне (например, относительный региональный интерес к запросам "ремонт дома", "кроссовки для бега" или "электромобили"). Необработанные запросы никогда не показываются.
128 – 255 Карты и загруженность Фиксирует антропогенную среду (объекты инфраструктуры, такие как рестораны, парки, школы) и агрегированные и анонимизированные данные о загруженности общественных заведений.
256 – 329 Погода и качество воздуха Фиксирует контекст окружающей среды (например, температуру, осадки, ИКВ, ветер).

Основные столбцы и метаданные

Таблица эмбеддингов содержит пространственные метаданные, позволяющие выполнять геопространственный анализ, фильтрацию и взаимодействие с другими сервисами платформы Google Карт.

  • geo_id – основной идентификатор региона. Для наборов данных S2 cell это токен ячейки S2, представленный в виде шестнадцатеричной строки (например, '80ead45'). Используйте его в качестве основного ключа объединения.
  • geo_name – человекочитаемое название региона. Примечание. Для наборов данных S2 grid у математических ячеек нет стандартных названий, поэтому в этом столбце будет содержаться тот же токен, что и в столбце geo_id. Это сделано специально, чтобы обеспечить единообразие структуры столбцов во всех предложениях, связанных с динамикой населения.
  • administrative_area_level_1_id – уникальный идентификатор места Google Карт для административной границы верхнего уровня (например, штата или провинции).
  • administrative_area_level_1_name – человекочитаемое название границы верхнего уровня (например, 'California').
  • administrative_area_level_2_id – уникальный идентификатор места в Google Картах для вторичной административной границы (например, округа или района).
  • administrative_area_level_2_name – человекочитаемое название дополнительной границы (например, 'Tulare County').
  • features – основной 330-мерный вектор эмбеддинга, хранящийся в нативном формате ARRAY<FLOAT64>. Чтобы загрузить эти данные в библиотеку Pandas Python, их нужно преобразовать в матрицу NumPy.

Часто задаваемые вопросы

Можно ли получить доступ к необработанным входным данным (например, к определенным поисковым запросам или данным о перемещениях)?

Нет. Эмбеддинги Population Dynamics Insights генерируются на основе агрегированных сигналов, обеспечивающих конфиденциальность. Чтобы обеспечить конфиденциальность пользователей, мы не предоставляем конкретные данные об их местоположении, истории поиска и перемещениях. Эмбеддинги обеспечивают скрытое представление этих действий, оптимизированное для моделирования и прогнозирования, а не для необработанной аналитики.

Можно ли интерпретировать размерности вектора (например, является ли размерность 5 "Кофе")?

Векторы представляют собой скрытые представления, то есть они отражают абстрактные закономерности, а не конкретные, человекочитаемые ярлыки. Хотя мы знаем, что индексы 0–127 получены из поисковых тенденций, конкретный индекс (например, 5) не сопоставляется один к одному с одним ключевым словом, например "кофе". Она представляет собой сложную функцию поискового поведения, изученную моделью.

Включает ли набор данных границы многоугольников (shape-файлы)?

Набор данных содержит токены ячеек S2 (geo_id) и идентификаторы мест для географических идентификаторов (например, регионов admin 1 и admin 2), но не включает необработанную геометрию многоугольников (WKT/Shape-файлы) для регионов ячеек S2. Пропуск необработанных геометрических объектов предотвращает раздувание хранилища и снижает затраты на сканирование BigQuery для конвейеров ML, которым требуются только векторы признаков. Кроме того, объединение по строковым токенам S2 выполняется значительно быстрее и эффективнее с точки зрения вычислений, чем пересечение пространственных многоугольников.

  • Для координат точек. Чтобы объединить данные о точках (например, местоположениях объектов или центроидах магазинов) с данными Population Dynamics Insights, преобразуйте координаты широты и долготы в токены ячеек S2 уровня 12 с помощью S2_CELLIDFROMPOINT в сочетании с ST_GEOGPOINT (см. Как преобразовать координаты точек в шестнадцатеричные токены S2 уровня 12).
  • Для границ областей. Если вам нужно пересечь пользовательские границы с Population Dynamics Insights, рекомендуем преобразовать пользовательские многоугольники в покрывающие токены ячеек S2 уровня 12 с помощью S2_COVERINGCELLIDS (см. раздел Генерация покрывающих токенов ячеек S2 уровня 12 для многоугольника) или объединить этот набор данных с общедоступными наборами данных о границах, доступными в BigQuery Public Data.
  • Для визуализации и преобразования геометрии: встроенные географические функции BigQuery выполняют одностороннее преобразование (геометрия → идентификатор ячейки S2). Чтобы преобразовать токены ячеек S2 в многоугольники для картографических или ГИС-инструментов, можно использовать клиентские библиотеки, например s2sphere для Python. Примеры кода и инструкции вы найдете в статье Как получить геометрию ячейки S2 из шестнадцатеричного токена S2 уровня 12.