指標を使用してエージェントのパフォーマンスをモニタリングする

起動後、ビジネス メッセージによってエージェントの主要なパフォーマンス指標が追跡されます。指標にアクセスするには、Business Communications Developer Console または BigQuery を使用します。

エージェントの成功を測定するために追加の分析が必要な場合は、エージェントの会話のイベントやその他の属性をモニタリングすることで、カスタム指標を追跡できます。

指標にアクセスする

パートナー レベルとエージェント レベルの指標は、データポータル レポートで Business Communications Developer Console からアクセスできます。BigQuery を使用して、エージェント指標を参照するか、プログラムで指標にアクセスすることもできます。

他のユーザーに指標へのアクセス権を付与するには:

  1. パートナー アカウントにユーザーとして追加します。
  2. Business Communications Developer Console または BigQuery から指標にアクセスする方法をお客様に説明します。

パートナー レベルの指標

パートナー レベルの指標には、管理対象のすべてのエージェントのデータが表示されます。

  1. Business Communications Developer Console を開き、ビジネス メッセージ Google アカウントでログインします。
  2. [指標のダッシュボード] カードの下部にある [指標を表示] をクリックします。

エージェント レベルの指標

エージェント レベルの指標には、選択したエージェントのデータのみが表示されます。

  1. Business Communications Developer Console を開き、ビジネス メッセージ Google アカウントでログインします。
  2. エージェントを選択します。

    [Metrics Dashboard] カードに指標が表示されます。

より詳細な指標を表示するには、左側のナビゲーションで [アナリティクス] をクリックします。

BigQuery を介した指標

BigQuery は、機械学習、容易なデータアクセス、予測分析を備えた、サーバーレスでスケーラブル、かつ費用対効果の高いデータ ウェアハウスです。BigQuery のデータには、ユースケースに応じて BigQuery UI または BigQuery API を介してアクセスできます。BigQuery のドキュメントをご覧ください。

BigQuery の指標データは 1.5 年間利用できます。

BigQuery でエージェント指標にアクセスするには、次の要件を満たす必要があります。

BigQuery にアクセスできる場合、以下のプロジェクト、データセット、ビューでエージェントのデータにアクセスできます。

  • プロジェクト ID: bizcomms-bm-metrics
  • データセット: partner_metrics_user_viewspartner_metrics_sa_views
  • ビュー: message_metricssession_metricsquality_metricsintent_metrics

たとえば、message_metrics ビューのすべてのフィールドを表示するには、次のクエリを使用します。

SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics

利用可能な指標

ビジネス メッセージは、メッセージセッション品質インテントの 4 つのカテゴリで指標を追跡します。

次の項目は、指標カテゴリで共通です。

指標 定義 サンプル値
date セッションが作成された日(UTC)。 2021-12-31
BigQuery のデータ型をご覧ください。
agent_id セッション情報を計算するエージェントの ID。 12345678-9012-3456-789012345678
agent_name エージェントの名前。 Growing Tree Bank
brand_id エージェントが属するブランドの ID。 12345678-9012-3456-789012345678
brand_name エージェントが属するブランドの名前。 Growing Tree International
partner_id ブランドを表すパートナーの ID。 12345678-9012-3456-789012345678
partner_name ブランドを代表するパートナーの名前。 XYZ Messaging

メッセージの指標

メッセージ指標は、特定の 1 日に配信されたメッセージの合計数から算出されます。これらの指標には次のアイテムが含まれます。

指標 定義 サンプル値
message_sender メッセージの送信者。 USER
AGENT
message_type メッセージの種類。 TEXT
RICH_TEXT
PHOTO
RICH_CARD
representative_type このメッセージを送信した担当者のタイプ。ユーザーが送信したメッセージの場合は空。 BOT
HUMAN
total_messages 配信されたメッセージの合計数。 11

セッション指標

セッションは、会話内のメッセージやイベントなど、時間制限付きのインタラクションです。メッセージが送信され、現在セッションがアクティブになっていないときに、セッションが開始されます。次の場合、セッションは終了します。

  • 12 時間、メッセージがない(人間のみのメッセージ機能があるエージェントの場合)
  • 30 分間メッセージがない(bot 専用のメッセージ機能があるエージェントの場合)
  • ユーザーに送信するアンケート
  • ユーザーが会話を削除した場合
  • ユーザーがエージェントをブロックした

セッション指標は、特定の日のアクティブなセッションの合計数から完了したセッションの合計数から取得されます。これらの指標には次のアイテムが含まれます。

指標 定義 サンプル値
session_initiator セッションを開始したユーザー。 USER
AGENT
session_initiating_entry_point セッションを開始したエントリ ポイント。 EntryPoint をご覧ください。
session_containment_type 会話における代表的なインタラクションのタイプ。代表的なメッセージなしから、bot メッセージのみのライブ メッセージまで、さまざまです。 UNRESPONDED
BOT_ONLY_CONVERSATION
LIVE_AGENT_REQUEST_UNFULFILLED
LIVE_AGENT_CONVERSATION
CALL_INITIATED
has_agent_response セッションにはエージェントからの応答が 1 回以上あります。 TRUE
FALSE
has_live_agent_response セッションには、人間のエージェントからの回答が 1 回以上あります。 TRUE
FALSE
has_live_agent_request セッションには少なくとも 1 つのライブ エージェント リクエストがあります。 TRUE
FALSE
session_depth_bucket セッション中に交換されたメッセージの数。 1
2-3
4-9
10-24
25-
survey_sent このセッションでアンケートが送信されている場合。 TRUE
FALSE
survey_responded ユーザーがアンケートに回答した場合。 TRUE
FALSE
positive_survey_response アンケートの回答が肯定的なものである場合。survey_respondedTRUE の場合にのみ意味があります。 TRUE
FALSE
total_sessions セッションの合計数。 1000
average_session_depth セッション中に交換されたメッセージの平均数。 23.11

品質指標

品質指標は、特定の日に完了したセッションの総数から得られます。これらの指標には次のアイテムが含まれます。

指標 定義 サンプル値
date_calculated 指標が計算された日(UTC)。 2021-12-31
BigQuery のデータ型をご覧ください。
state エージェントの現在の状態。 GOOD_STANDING
REQUIRES_ATTENTION
survey_count アンケートのスコアの計算に使用されるアンケートの数。過去 7 日間の回答数が 10 件未満の場合は、過去 35 日間の最新(最大 9 件)のアンケートが使用されます。それ以外の場合は、過去 7 日間のすべてのアンケート回答が使用されます。 84
survey_score アンケートで肯定的な回答が得られた割合。 値の範囲は 01 です。
session_count MRR の計算に使用されるセッションの数。過去 7 日間のセッションが 3 回未満の場合は、過去 35 日間の最新セッション(最大 9 回)が使用されます。それ以外の場合は、過去 7 日間のすべてのセッションが使用されます。 143
mrr 販売者レスポンス率(MRR)。エージェントのレスポンス(bot またはライブ エージェント)が発生したセッションの数(セッションの総数に対する割合)。 値の範囲は 01 です。
hmrr 人間の販売者からの応答率(HMRR)。ライブ エージェント レスポンスが発生したセッションの数(1 つ以上のライブ エージェント リクエストまたはライブ エージェント レスポンスが含まれるセッションの割合に対する割合)。 値の範囲は 01 です。
live_agent_request_count hmrr の計算に使用されるライブ エージェント リクエストの数。過去 7 日間のライブ エージェント リクエストが 10 件未満の場合は、過去 35 日間の最新 9 件のライブ エージェント リクエストが使用されます。それ以外の場合は、過去 7 日間のすべてのライブ エージェント リクエストが使用されます。 42
suspension_date 品質が低いためにエージェントが停止される可能性がある日(UTC)。ステータスが REQUIRES_ATTENTION であるエージェントにのみ設定されます。 2021-12-31
BigQuery のデータ型をご覧ください。

インテントの指標

インテントの指標は、機械学習を使用してエージェントとのセッションのインテントを識別します。インテント指標は、特定の日の完了セッションでユーザー メッセージから取得されます。英語でのみご利用いただけます。これらの指標には次のアイテムが含まれます。

指標 定義 サンプル値
intent セッション インテントのタイプ。 SALES_LEAD
SERVICE
count 指定した intent タイプのセッション数。 11

カスタム指標をトラッキングする

指標の設定が異なる場合や、品質レポートよりも詳細な情報が必要な場合は、独自の指標データをキャプチャできます。

収集できる指標には、次のようなものがあります。

  • 顧客満足度アンケートを送信してユーザーの満足度を把握、追跡します。アンケートの要件はデータ収集の要件に応じてカスタマイズできます。
  • メッセージを送信しました。エージェントがメッセージを送信するたびに詳細をキャプチャします。
  • メッセージを受信しました。エージェントがメッセージを受信するたびに、詳細情報を取得します。
  • エージェントの回答率。エージェントがユーザー メッセージに応答する頻度をキャプチャします。bot と人間のエージェントの応答率の違いを追跡します。
  • エージェントの応答時間。エージェントがユーザー メッセージに応答するのにかかる時間をキャプチャします。bot と人間のエージェントの応答時間の違いを追跡します。
  • 領収書DELIVERED イベントをキャプチャする。
  • 開封確認メッセージREAD イベントをキャプチャする。
  • ユーザー エンゲージメントIS_TYPING イベント、ユーザー レスポンスの数、DELIVERED または READ イベントとその後のユーザー レスポンスの時間差をキャプチャします。
  • インタラクションの種類。メッセージに対するユーザーの反応を特定します。有意義なポストバック データを使用して、返信とアクションの候補を追跡し、レスポンス形式をモニタリングして、ユーザーが画像と書式なしテキスト メッセージのどちらを送信するかを特定します。

キャプチャした指標により、ビジネスニーズに最適な指標を解析して整理できます。

パフォーマンス モニタリングと停止のしきい値

エージェントのパフォーマンスを評価するために、ビジネス メッセージは複数の指標を追跡して、エージェントが優れたユーザー エクスペリエンスを提供していることを確認します。エージェントが指標のしきい値を下回ると、ビジネス メッセージによって週次のエージェント ステータス メールが警告されます。エージェントが 28 日間、しきい値を下回ったままの場合、ビジネス メッセージによってエージェントが停止される可能性があります。エージェントが停止されている場合は、一時停止されたエージェントを修正するをご覧ください。

ビジネス メッセージでは、エージェントを「通常の件数」(過去 7 日間に 10 件以上のセッション)または「件数が少ない」(過去 7 日間に 10 件未満)に分類しています。これらのカテゴリに基づき、ビジネス メッセージでは次の指標を使用してエージェントのパフォーマンスを追跡します。

指標 説明 通常の音量のしきい値 少量のしきい値
販売者の回答率(MRR) 自動化または人間のエージェントを通じて、ユーザーとの新たな会話にエージェントが応答する頻度(%)。 95% 60%

エージェントのパフォーマンス状態は、過去 35 日間に 3 回以上行われたセッションに基づいています。

指標を改善する

エージェントのパフォーマンスが低い場合は、次のように対応してください。

技術的な問題にならずにメッセージを処理して返信

  • メッセージのタイプやコンテンツに関係なく、Webhook がすべての受信メッセージを受信、確認応答、処理、ルーティングしていることを確認します。
  • メッセージ ペイロードに必須フィールドがない場合に備えて、エージェントに有効なフォールバック戦略を用意してください。フィールドの欠落によりユーザー メッセージが欠落または削除されると、ユーザー エクスペリエンスが低下します。
  • エージェントが想定されるメッセージ タイプをすべて送信したことを確認します。

思いやりをもってスマートに返答する

  • すべてのメッセージに返信する。自動返信は、よくある質問への回答に役立ちます。
  • ユーザーの会話のエントリ ポイントを認識し、それに応じて応答します。たとえば、Google マップからアクセスしているユーザーは、営業時間や在庫の確認など、地域固有の情報に関心を持っている可能性があります。
  • 位置情報ベースのメッセージでは、メッセージへの対応に最も適した担当者にルーティングします。
  • ライブ対応のエージェントが対応できない場合は、自動化を使用してユーザーに応答します。チャット時間や、電話で誰かと連絡が取れる方法(サポートの電話番号など)を知らせてください。

ガイダンスを提供する

  • ウェルカム メッセージは、親しみやすく、歓迎される雰囲気で作成し、エージェントが期待できることを設定します。
  • 会話の始め方を使用して、一般的なタスクや自動化されたタスクをユーザーに案内します。
  • エージェントが対応できない質問をユーザーから受けた場合、エージェントが回答できる種類の質問についてのガイダンスで応答します。

データを慎重に扱う

  • 位置情報などのデータは可能な限り、メッセージの受信ではなく収集します。
  • 機密情報(ログイン、銀行取引やクレジット カードの詳細、個人識別番号)は入力しないでください。
  • 必要な場合にのみデータを要求します。データ超過はユーザー エクスペリエンスの低下につながります。
  • データが必要な場合は、その理由と使用方法を明確に説明します。

非同期で動作

  • 会話に非アクティブのマークを付けないでください。ビジネス メッセージを使った通信は非同期であるため、ユーザーがすぐに返信できない場合があります。
  • 返信のないユーザーに対するフォローアップは行わないでください。会話から移動してもユーザーは切断されません。

エージェントのパフォーマンスを得るためのその他のガイダンスについては、要件とガイドラインをご覧ください。