Мониторинг
TaglessCRM может точно отслеживать, какие данные CRM были отправлены, что не было отправлено из-за ошибки формата и что не удалось отправить из-за ошибки API. Информация сохраняется, поэтому вы можете легко повторить (см. следующий раздел) любые неудачные события, отправляя только неудачные события без повторной отправки данных успешно отправленных, что позволяет вам поддерживать целостность данных ваших кампаний (отправка некоторых точек данных более одного раза может исказить данные вашей кампании).
По умолчанию мониторинг будет отключен, поэтому обязательно включите его, если хотите его использовать.
Данные мониторинга будут храниться в новой базе данных в вашем проекте GCP и будут называться tcrm_monitoring_dataset , а таблица мониторинга tcrm_monitoring_table по умолчанию. Чтобы изменить имена по умолчанию или включить/отключить мониторинг, обратитесь к разделу 3.3 в руководстве по установке .
TaglessCRM хранит записи для нескольких важных событий:
Отправленные данные — точно описывает, какие данные CRM были прочитаны из BigQuery или Google Cloud Storage. Эта запись хранится в целях обеспечения целостности данных, поэтому данные, которые были однажды отправлены, больше не будут отправлены. Схема записи:
Тип ТЕКСТ ДАТАВРЕМЯ INT ТЕКСТ ТЕКСТ ТЕКСТ Имя столбца имя_даты отметка времени type_id расположение позиция Информация Описание Имя группы обеспечения доступности баз данных, к которой относится эта запись отметка времени Идентификатор типа для записи «Отправленные данные» равен -2. location — это либо URL-адрес таблицы BigQuery, либо URL-адрес корзины Google Cloud Storage. положение в исходном местоположении количество прочитанных строк Не удалось отправить данные — описывает данные, которые должны были быть отправлены, с номером ошибки и причиной сбоя.
Тип ТЕКСТ ДАТАВРЕМЯ INT ТЕКСТ ТЕКСТ ТЕКСТ Имя столбца имя_даты отметка времени type_id расположение позиция Информация Описание Имя группы обеспечения доступности баз данных, к которой относится эта запись отметка времени Номер ошибки location — это либо URL-адрес таблицы BigQuery, либо URL-адрес корзины Google Cloud Storage. положение в исходном местоположении Данные в формате JSON Повторная попытка — описывает время повторной попытки и группу обеспечения доступности баз данных, в которой она выполнялась.
Тип ТЕКСТ ДАТАВРЕМЯ INT ТЕКСТ ТЕКСТ ТЕКСТ Имя столбца имя_даты отметка времени type_id расположение позиция Информация Описание Имя группы обеспечения доступности баз данных, к которой относится эта запись отметка времени Идентификатор типа для записи "Повторить" равен -4. location — это либо URL-адрес таблицы BigQuery, либо URL-адрес корзины Google Cloud Storage. Пустой Пустой
Мониторинг очистки
Если вы включили мониторинг, данные будут сохраняться в таблице BigQuery для регистрации и повторных попыток. Вы можете периодически удалять данные из этой таблицы, чтобы сократить расходы и соблюдать правила конфиденциальности данных.
Вы можете настроить автоматическую очистку мониторинга в любые периоды времени для каждой DAG отдельно или для всех DAG вместе. Вы также можете указать максимальное время, в течение которого запись может находиться в системе, прежде чем она будет удалена службой очистки.
Для этого вы можете запустить DAG tcrm_monitoring_cleanup .