О данных анализа динамики населения

Разберитесь в данных.

Хотя векторные представления доступны для нескольких стран, схема остается неизменной во всех наборах данных. Векторные представления организованы в отдельные списки BigQuery для каждой страны.

Анатомия вектора встраивания

Столбец features представляет собой 330-мерный вектор (хранящийся в BigQuery как REPEATED FLOAT ). Каждая секция массива соответствует определенному сигналу данных, извлеченному моделью динамики популяции.

Понимание этой структуры позволяет исключить влияние отдельных факторов (например, определить, насколько поведение при поиске влияет на продажи по сравнению с погодой).

Векторные индексы Источник данных Описание
0 – 127 Сводные поисковые тренды Отражает региональные интересы и проблемы (например, поисковые запросы типа «спортзал», «симптомы гриппа», «предметы роскоши»).
128 – 255 Карты и загруженность Отражает состояние застроенной среды (объекты интереса, такие как больницы, парки, школы) и плотность человеческой активности.
256 – 329 Погода и качество воздуха Учитывает экологический контекст (температура, осадки, индекс качества воздуха, ветер).

Ключевые столбцы и метаданные

Таблица встраивания содержит пространственные метаданные, позволяющие проводить геопространственный анализ, фильтрацию и обеспечивать взаимодействие с другими сервисами платформы Google Maps.

  • geo_id : Основной идентификатор региона. Для наборов данных ячеек S2 это токен ячейки S2, представленный в виде шестнадцатеричной строки (например, '80ead45' ). Используйте его в качестве основного ключа объединения.
  • geo_name : Удобочитаемое название региона. Примечание: В наборах данных S2 ячейки математических моделей не имеют стандартных названий, поэтому этот столбец будет содержать тот же токен, что и geo_id . Это сделано намеренно для поддержания единообразной структуры столбцов во всех предложениях Population Dynamics.
  • administrative_area_level_1_id : Уникальный идентификатор места в Google Maps для административной границы верхнего уровня (например, штата или провинции).
  • administrative_area_level_1_name : удобочитаемое название границы верхнего уровня (например, 'California' ).
  • administrative_area_level_2_id : Уникальный идентификатор места в Google Maps для вторичной административной границы (например, округа или района).
  • administrative_area_level_2_name : удобочитаемое название вторичной границы (например, 'Tulare County' ).
  • features : Основной 330-мерный вектор встраивания, хранящийся в исходном виде как ARRAY<FLOAT64> . Для загрузки его в библиотеку Pandas Python требуется преобразование в матрицу NumPy.

Часто задаваемые вопросы (FAQ)

Могу ли я получить доступ к исходным данным (например, к конкретным поисковым запросам или трассировкам перемещений)?

Нет. Встраивания данных в Population Dynamics Insights генерируются на основе агрегированных сигналов, обеспечивающих конфиденциальность. Для обеспечения конфиденциальности пользователей мы не предоставляем конкретные данные о перемещениях пользователей, истории поиска отдельных пользователей или необработанные модели перемещений. Встраивания предоставляют скрытое представление этих моделей поведения, оптимизированное для моделирования и прогнозирования, а не для анализа исходных данных.

Можно ли интерпретировать векторные измерения (например, является ли измерение 5 «Кофе»)?

Векторы представляют собой скрытые представления, то есть они отражают абстрактные закономерности, а не конкретные, удобочитаемые метки. Хотя мы знаем, что индексы 0–127 получены из поисковых трендов, конкретный индекс (например, индекс 5) не соответствует напрямую одному ключевому слову, такому как «Кофе». Вместо этого он представляет собой сложную характеристику поискового поведения, изученную моделью.

Содержит ли набор данных границы полигонов (шейп-файлы)?

Набор данных содержит токены ячеек S2 ( geo_id ) и идентификаторы мест для географических идентификаторов (таких как регионы администратора 1 и администратора 2), но не включает необработанную полигональную геометрию (WKT/Shapefiles) для регионов ячеек S2. Отсутствие необработанной геометрии предотвращает раздувание памяти и снижает затраты на сканирование BigQuery для конвейеров машинного обучения, которым требуются только векторные представления объектов. Кроме того, объединение по строковым токенам S2 значительно быстрее и эффективнее с точки зрения вычислительных ресурсов, чем выполнение пересечений пространственных полигонов.

  • Для точечных координат: Чтобы объединить точечные данные (например, местоположения объектов интереса или центроиды магазинов) с данными Population Dynamics Insights, преобразуйте координаты широты/долготы в токены ячеек S2 уровня 12, используя S2_CELLIDFROMPOINT в сочетании с ST_GEOGPOINT (см. Преобразование точечных координат в шестнадцатеричные токены S2 уровня 12 ).
  • Для границ территорий: если вам необходимо пересечь пользовательские границы с помощью Population Dynamics Insights, мы рекомендуем преобразовать ваши пользовательские полигоны в токены ячеек S2 уровня 12, покрывающие границы, используя S2_COVERINGCELLIDS (см. раздел «Генерация токенов ячеек S2 уровня 12 для полигона ») или объединить этот набор данных с общедоступными наборами данных границ, доступными в BigQuery Public Data.
  • Для визуализации и преобразования геометрии: встроенные географические функции BigQuery выполняют одностороннее преобразование (Геометрия → Идентификатор ячейки S2). Для преобразования токенов ячеек S2 в полигональные геометрии для картографирования или ГИС-инструментов можно использовать клиентские библиотеки, такие как s2sphere в Python. Примеры кода и инструкции см. в разделе «Получение геометрии ячейки S2 из шестнадцатеричного токена S2 уровня 12» .