Monitoramento
O TaglessCRM pode monitorar com precisão quais dados do CRM foram enviados, o que não foi enviado devido a um erro de formato e o que falhou devido a um erro de API. As informações são armazenadas para que você possa repetir facilmente (consulte a próxima seção) todos os eventos com falha, enviando apenas os eventos com falha sem enviar os dados de êxito novamente. Isso permite que você mantenha a integridade dos dados das suas campanhas (o envio de alguns pontos de dados mais de uma vez pode distorcer os dados da sua campanha).
Por padrão, o Monitoring estará desativado. Ative-o se quiser usá-lo.
Os dados de monitoramento serão armazenados em um novo banco de dados no seu projeto do GCP e serão nomeados como tcrm_monitoring_dataset e a tabela de monitoramento tcrm_monitoring_table por padrão. Para alterar os nomes padrão ou ativar/desativar o monitoramento, consulte a seção 3.3 no guia de instalação.
O TaglessCRM armazena registros para alguns eventos importantes:
Dados enviados: descreve exatamente quais dados de CRM foram lidos no BigQuery ou no Google Cloud Storage. Como esse registro é mantido para manter a integridade dos dados, os dados que já foram enviados não serão enviados novamente. Esquema de registro:
Tipo TEXT DATA E HORA INT TEXT TEXT TEXT Nome da coluna nome_dag timestamp ID do tipo local position informações Descrição O nome do DAG a que este registro se refere timestamp O ID de tipo do registro "Dados enviados" é -2 é o URL da tabela do BigQuery ou o URL do bucket do Google Cloud Storage posição no local de origem número de linhas lidas Os dados não foram enviados: descreve os dados que foram enviados com o número de erro e o motivo da falha.
Tipo TEXT DATA E HORA INT TEXT TEXT TEXT Nome da coluna nome_dag timestamp ID do tipo local position informações Descrição O nome do DAG a que este registro se refere timestamp Número do erro é o URL da tabela do BigQuery ou o URL do bucket do Google Cloud Storage posição no local de origem Os dados no formato JSON Nova tentativa: descreve a hora em que uma nova tentativa foi executada e o DAG que estava tentando novamente.
Tipo TEXT DATA E HORA INT TEXT TEXT TEXT Nome da coluna nome_dag timestamp ID do tipo local position informações Descrição O nome do DAG a que este registro se refere timestamp O ID de tipo do registro "Tentar novamente" é -4 é o URL da tabela do BigQuery ou o URL do bucket do Google Cloud Storage Vazio Vazio
Limpeza do monitoramento
Se você tiver ativado o monitoramento, os dados serão salvos em uma tabela do BigQuery para geração de registros e nova tentativa. É possível excluir periodicamente os dados desta tabela para reduzir custos e para cumprir os regulamentos de privacidade de dados.
É possível configurar a limpeza do monitoramento para ser executada automaticamente a qualquer momento para cada DAG separadamente ou para todos os DAGs. Também é possível indicar o tempo máximo em que um registro pode ficar no sistema antes de ser excluído pelo serviço de limpeza.
Para fazer isso, execute o DAG tcrm_monitoring_cleanup.