モニタリング
TaglessCRM では、CRM データ、フォーマット エラーが原因で送信されなかったデータ、API エラーが原因で送信できなかったデータを Excel で確認できます。この情報は保存されるため、失敗したイベントを簡単に再試行して（次のセクションを参照）、失敗したイベントのみを送信し、正常に送信されたデータを再送信しなくても、キャンペーンのデータの整合性を維持できます（一部のデータポイントを複数回送信すると、キャンペーン データが歪む可能性があります）。
デフォルトではモニタリングが無効になります。使用したい場合は、有効にしてください。
モニタリング データは GCP プロジェクトの新しいデータベースに保存され、デフォルトで tcrm_monitoring_dataset、モニタリング テーブル、tcrm_monitoring_table という名前になります。デフォルト名を変更する場合や、モニタリングを有効または無効にする場合は、インストール ガイドのセクション 3.3 をご覧ください。
TaglessCRM では、いくつかの重要なイベントのレコードが保存されます。
送信データ - BigQuery または Google Cloud Storage から読み取られた CRM データを正確に記述します。このレコードはデータの整合性を確保するために保持されるため、送信されたデータは二度と送信されません。レコード スキーマ:
タイプ テキスト DATETIME INT テキスト テキスト テキスト 列名 dag_name timestamp type_id location position info（情報） 説明 このレコードが参照する DAG の名前 timestamp 「Data sent」レコードのタイプ ID は -2 です。 ロケーションは BigQuery テーブル URL または Google Cloud Storage バケット URL のいずれか ソースのロケーション内の位置 読み取られた行数 データの送信に失敗しました - 送信しようとしているデータについて、エラー番号と失敗の理由を記載しています。
タイプ テキスト DATETIME INT テキスト テキスト テキスト 列名 dag_name timestamp type_id location position info（情報） 説明 このレコードが参照する DAG の名前 timestamp エラー番号 ロケーションは BigQuery テーブル URL または Google Cloud Storage バケット URL のいずれか ソースのロケーション内の位置 JSON 形式のデータ Retry - 再試行が実行された時間と DAG の再試行の状態が示されます。
タイプ テキスト DATETIME INT テキスト テキスト テキスト 列名 dag_name timestamp type_id location position info（情報） 説明 このレコードが参照する DAG の名前 timestamp 「再試行」レコードのタイプ ID は -4 です。 ロケーションは BigQuery テーブル URL または Google Cloud Storage バケット URL のいずれか 空 空
モニタリングのクリーンアップ
モニタリングを有効にすると、ロギングと再試行のためにデータが BigQuery テーブルに保存されます。コストを削減し、データ プライバシー規制を遵守するために、このテーブルから定期的にデータを削除することをおすすめします。
モニタリング クリーニングは、各 DAG に対して個別に、またはすべての DAG に対して、いつでも自動的に実行されるように設定できます。クリーンアップ サービスによって削除される前に、システム内にレコードが保持される最大時間を指定することもできます。
これを行うには、tcrm_monitoring_cleanup DAG を実行します。