Monitoraggio
TaglessCRM può monitorare in modo esatto quali dati CRM sono stati inviati, cosa non è stato inviato a causa di un errore di formato e cosa non è stato possibile inviare a causa di un errore dell'API. Le informazioni vengono archiviate in modo da poter riprovare (consulta la sezione successiva) qualsiasi evento non riuscito, inviando solo gli eventi non riusciti senza inviare di nuovo i dati correttamente. In questo modo, puoi mantenere l'integrità dei dati della campagna (l'invio di alcuni punti dati più di una volta potrebbe distorcere i dati della campagna).
Per impostazione predefinita, Monitoring è disabilitato, quindi assicurati di attivarlo se vuoi utilizzarlo.
I dati di monitoraggio verranno archiviati in un nuovo database nel progetto GCP e saranno denominati tcrm_monitoring_dataset e la tabella di monitoraggio tcrm_monitoring_table per impostazione predefinita. Per modificare i nomi predefiniti o per attivare/disattivare il monitoraggio, consulta la sezione 3.3 della guida all'installazione.
TaglessCRM archivia i record per alcuni eventi importanti:
Dati inviati: descrive esattamente quali dati CRM sono stati letti da BigQuery o da Google Cloud Storage. Questo record viene conservato per scopi di integrità dei dati, pertanto i dati inviati una volta non verranno inviati di nuovo. Schema di registrazione:
Tipo TESTO DATETIME INT TESTO TESTO TESTO Nome colonna nome_dag timestamp ID_tipo posizione position info Descrizione Il nome del DAG a cui fa riferimento questo record timestamp L'ID tipo per il record "Dati inviati" è -2 località è l'URL della tabella BigQuery o l'URL del bucket Google Cloud Storage Posizione nella posizione di origine numero di righe lette Dati non inviati: descrive i dati che dovevano essere inviati con il numero di errore e il motivo dell'errore.
Tipo TESTO DATETIME INT TESTO TESTO TESTO Nome colonna nome_dag timestamp ID_tipo posizione position info Descrizione Il nome del DAG a cui fa riferimento questo record timestamp Numero errore località è l'URL della tabella BigQuery o l'URL del bucket Google Cloud Storage Posizione nella posizione di origine I dati in formato JSON Riprova: descrive l'ora in cui è stato eseguito un nuovo tentativo e il DAG che ha tentato di riprovare.
Tipo TESTO DATETIME INT TESTO TESTO TESTO Nome colonna nome_dag timestamp ID_tipo posizione position info Descrizione Il nome del DAG a cui fa riferimento questo record timestamp L'ID tipo per il record "Riprova" è -4. località è l'URL della tabella BigQuery o l'URL del bucket Google Cloud Storage Vuoto Vuoto
Monitoraggio della pulizia
Se hai abilitato il monitoraggio, i dati verranno salvati in una tabella BigQuery a scopo di logging e nuovo tentativo. Ti consigliamo di eliminare periodicamente i dati di questa tabella per ridurre i costi e rispettare le normative sulla privacy dei dati.
Puoi configurare la pulizia del monitoraggio in modo che venga eseguita automaticamente in qualsiasi periodo di tempo per ogni DAG separatamente o per tutti i DAG insieme. Puoi anche indicare il tempo massimo di permanenza di un record nel sistema prima che venga eliminato dal servizio di pulizia.
Per farlo, puoi eseguire il DAG tcrm_monitoring_cleanup.