指標を使用してエージェントのパフォーマンスをモニタリングする

起動すると、ビジネス メッセージはエージェントの主要なパフォーマンス指標を追跡します。指標にアクセスするには、Business Communications デベロッパー コンソールまたは BigQuery を使用します。

エージェントの成果を測定するために追加の分析が必要な場合は、エージェントとの会話のイベントやその他の属性をモニタリングすることで、カスタム指標を追跡できます。

指標にアクセスする

Business Communications デベロッパー コンソールからデータポータル レポート内のパートナー レベルとエージェント レベルの指標にアクセスできます。また、BigQuery を使用して、エージェントの指標を参照したり、プログラムでアクセスしたりすることもできます。

他のユーザーに指標へのアクセス権を付与するには、

  1. パートナー アカウントにユーザーとして追加します。
  2. Business Communications のデベロッパー コンソールまたは BigQuery で指標にアクセスする方法をお客様に説明します。

パートナー レベルの指標

パートナー レベルの指標には、管理するすべてのエージェントのデータが表示されます。

  1. Business Communications デベロッパー コンソールを開き、ビジネス メッセージの Google アカウントでログインします。
  2. [指標ダッシュボード] カードの下部にある [指標を表示] をクリックします。

エージェント レベルの指標

エージェント レベルの指標には、選択したエージェントのデータのみが表示されます。

  1. Business Communications デベロッパー コンソールを開き、ビジネス メッセージの Google アカウントでログインします。
  2. エージェントを選択します。

    指標ダッシュボードに指標が表示されます。

より詳細な指標を表示するには、左側のナビゲーションで [分析] をクリックします。

BigQuery による指標

BigQuery は、機械学習、簡単なデータアクセス、予測分析機能を備えた、サーバーレスでスケーラブルかつ費用対効果の高いデータ ウェアハウスです。BigQuery のデータには、ユースケースに応じて BigQuery UI または BigQuery API からアクセスできます。BigQuery のドキュメントをご覧ください。

BigQuery の指標データは 1 年半利用できます。

BigQuery でエージェント指標にアクセスするには、次の要件を満たす必要があります。

BigQuery にアクセスできる場合は、次のプロジェクト、データセット、ビューでエージェントのデータにアクセスできます。

  • プロジェクト ID: bizcomms-bm-metrics
  • データセット: partner_metrics_user_viewspartner_metrics_sa_views
  • ビュー: message_metricssession_metricsquality_metricsintent_metrics

たとえば、message_metrics ビューからすべてのフィールドを表示するには、次のクエリを使用します。

SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics

利用可能な指標

ビジネス メッセージは、メッセージセッション品質インテントの 4 つのカテゴリで指標を追跡します。

次の項目は、指標カテゴリに共通しています。

指標 定義 サンプル値
date セッションが作成された日付(UTC)。 2021-12-31
BigQuery の日付型をご覧ください。
agent_id セッション情報を計算するエージェントの ID。 12345678-9012-3456-789012345678
agent_name エージェントの名前。 Growing Tree Bank
brand_id エージェントが属するブランドの ID。 12345678-9012-3456-789012345678
brand_name エージェントが所属するブランドの名前。 Growing Tree International
partner_id ブランドを表すパートナーの ID。 12345678-9012-3456-789012345678
partner_name ブランドを表すパートナーの名前。 XYZ Messaging

メッセージの指標

メッセージ指標は、特定の日に配信されたメッセージの合計数から取得されます。該当する指標は次のとおりです。

指標 定義 サンプル値
message_sender メッセージの送信者。 USER
AGENT
message_type メッセージのタイプ。 TEXT
RICH_TEXT
PHOTO
RICH_CARD
representative_type このメッセージを送信した代表者のタイプ。ユーザーが送信したメッセージでは空になります。 BOT
HUMAN
total_messages 配信されたメールの合計数。 11

セッション指標

セッションは、会話のメッセージやイベントなどのインタラクションを期限付きでグループ化したものです。セッションは、メッセージが送信され、現在アクティブでないときに開始されます。セッションは次の場合に終了

  • 24 営業時間のメッセージがない(人間のみのメッセージが可能なエージェントの場合)(/business-communications/business-messages/guides/how-to/agents/availability)。今後 7 日間の営業時間が 24 時間未満の場合は、24 時間が使用されます)。
  • 30 分間メッセージがない(bot のみのメッセージの可用性を持つエージェントの場合)
  • ユーザーにアンケートを送ったり
  • ユーザーが会話を削除したとき
  • ユーザーがエージェントをブロックした場合

セッション指標は、特定の日のアクティブなセッションと完了したセッションの合計数から取得されます。該当する指標は次のとおりです。

指標 定義 サンプル値
session_initiator セッションを開始したユーザー。 USER
AGENT
session_initiating_entry_point セッションを開始したエントリ ポイント。 EntryPointをご覧ください。
session_containment_type 会話における代表的なやり取りのタイプ(代表的なメッセージなし、bot メッセージのみ、ライブ対応のエージェント メッセージなど)。 UNRESPONDED
BOT_ONLY_CONVERSATION
LIVE_AGENT_REQUEST_UNFULFILLED
LIVE_AGENT_CONVERSATION
CALL_INITIATED
has_agent_response セッションに対して、エージェントから 1 つ以上のレスポンスが返された場合。 TRUE
FALSE
has_live_agent_response セッションに人間のエージェントから 1 件以上の応答がある。 TRUE
FALSE
has_live_agent_request セッションに人間のエージェントからのリクエストが 1 つ以上ある。 TRUE
FALSE
session_depth_bucket セッション中に交換されたメッセージの数。 1
2-3
4-9
10-24
25-
survey_sent このセッションについてアンケートが送信されたかどうか。 TRUE
FALSE
survey_responded ユーザーがアンケートに回答したかどうか。 TRUE
FALSE
positive_survey_response アンケートの回答が肯定的な評価を獲得した場合。survey_respondedTRUE の場合にのみ有効です。 TRUE
FALSE
total_sessions セッションの合計数。 1000
average_session_depth セッション中に交換されたメッセージの平均数。 23.11

品質の指標

品質指標は、特定の日に完了したセッションの合計数から取得されます。該当する指標は次のとおりです。

指標 定義 サンプル値
date_calculated 指標が計算された日付(UTC)。 2021-12-31
BigQuery の日付型をご覧ください。
state エージェントの現在の状態。 GOOD_STANDING
REQUIRES_ATTENTION
survey_count アンケートのスコアの計算に使用されたアンケートの数。過去 7 日間のアンケート回答数が 10 件に満たない場合は、過去 35 日間の最新のアンケート(最大 9 件)が使用されます。それ以外の場合は、過去 7 日間のアンケートのすべての回答が使用されます。 84
survey_score アンケートの肯定的な回答の割合。 範囲は 01 です。
session_count MRR の計算に使用されたセッションの数。過去 7 日間のセッションが 3 回未満の場合は、過去 35 日間の最新のセッション(最大 9 回)が使用されます。それ以外の場合は、過去 7 日間のすべてのセッションが使用されます。 143
mrr 販売者レスポンス率(MRR):セッションの合計数に対する、エージェント(bot またはライブ エージェント)の応答があったセッションの数。 範囲は 01 です。
hmrr 人間による販売者の応答率(HMRR):1 つ以上の人間のエージェント リクエストまたは人間のエージェント レスポンスを含むセッションの合計数に対する、ライブ対応のエージェント レスポンスがあったセッションの数。 範囲は 01 です。
live_agent_request_count hmrr の計算に使用されたライブ対応のエージェント リクエストの数。過去 7 日間の人間のエージェント リクエストが 10 件未満の場合は、過去 35 日間で最新の 9 件のライブ エージェント リクエストが使用されます。それ以外の場合は、過去 7 日間の人間のエージェントによるリクエストがすべて使用されます。 42
suspension_date 品質が低いためにエージェントが停止される可能性がある日(UTC)。ステータスが「REQUIRES_ATTENTION」のエージェントに対してのみ設定されます。 2021-12-31
BigQuery の日付型をご覧ください。

インテントの指標

インテント指標では、機械学習を使用してエージェントとのセッションのインテントを識別します。インテント指標は、特定の日に完了したセッションにおけるユーザー メッセージから取得されます。英語でのみ利用できます。該当する指標は次のとおりです。

指標 定義 サンプル値
intent セッション インテント タイプ。 SALES_LEAD
SERVICE
count 指定された intent タイプのセッションの数。 11

カスタム指標のトラッキング

指標の設定が異なる場合や、品質レポートよりも詳細な情報が必要な場合は、独自の指標データをキャプチャできます。

取得される可能性のある指標は以下のとおりです。

  • 顧客満足度:アンケートを送信してユーザー満足度を記録し、追跡します。アンケートの質問は、データ収集の要件に合わせてカスタマイズできます。
  • メッセージを送信しました。エージェントがメッセージを送信するたびに詳細を取得します。
  • 受信したメッセージ。エージェントがメッセージを受信するたびに詳細を取得します。
  • エージェントの回答率。エージェントがユーザー メッセージに応答する頻度をキャプチャします。bot と人間のエージェントの回答率の違いを追跡します。
  • エージェントの回答時間。エージェントがユーザー メッセージに応答するのにかかる時間をキャプチャします。bot と人間のエージェントの応答時間の違いを追跡する。
  • 配達領収書DELIVERED イベントをキャプチャします。
  • 既読通知READ イベントをキャプチャします。
  • ユーザー エンゲージメント:IS_TYPING イベント、ユーザー レスポンスの数、DELIVERED イベントまたは READ イベントとそれに続くユーザー レスポンスの時間差をキャプチャします。
  • インタラクションのタイプ。メッセージに対するユーザーの反応を確認できます。意味のあるポストバック データを使用して、返信文やアクションの候補を追跡し、レスポンス形式をモニタリングしてユーザーが送信したものが画像か書式なしテキスト メッセージかを特定します。

指標をキャプチャすると、ビジネスニーズに最適な方法で解析して整理できます。

パフォーマンス モニタリングと停止のしきい値

エージェントのパフォーマンスを評価するため、ビジネス メッセージは複数の指標を追跡して、エージェントが優れたユーザー エクスペリエンスを提供できるようにしています。エージェントが指標のしきい値を下回ると、ビジネス メッセージからエージェントのステータス メールが毎週送信されます。しきい値を超えた状態が 28 日間続くと、ビジネス メッセージによってエージェントが停止されることがあります。エージェントが停止している場合は、停止中のエージェントを修正するをご覧ください。

ビジネス メッセージでは、次の指標を使用してエージェントのパフォーマンスを追跡します。

指標 説明 音量しきい値 通常の音量しきい値 音量が小さい場合のしきい値
顧客満足度(CSAT) 顧客満足度スコアは、エージェントがサポートを受けた後の顧客の全体的なエクスペリエンスを示します。 10 件のアンケート 80% 0%
販売者レスポンス率(MRR) セッションの合計数に対する、エージェントからのレスポンス(bot またはライブ エージェント)があったセッションの数。 セッション数: 3 95% 60%
人間による販売者の応答率(HMRR) 1 つ以上の人間のエージェント リクエストまたは人間のエージェント レスポンスを含むセッションの合計数に対する、ライブ対応のエージェント レスポンスがあったセッションの数 ライブ対応のエージェント リクエスト 10 件 95% 0%

各指標の量は、独立した指標の量のしきい値に対して測定されます。しきい値を上回ったり下回ったりすることで、エージェントのパフォーマンスを、その指標の通常の音量しきい値、または低い音量しきい値のどちらと比較して測定できるかが決定されます。

たとえば、エージェントに 9 件のアンケート、10 件のセッション、9 件のライブ対応のエージェント リクエストがある場合、エージェントのパフォーマンスは、CSAT では 0、MRR では 95、HMRR では 0 のしきい値に対して測定されます。エージェントがこれらのしきい値のいずれかを下回っている場合、エージェントは「要確認」ステータスとしてマークされます。

「要確認」ステータスが 28 日以上続くと、エージェントは停止される場合があります。

指標を改善する

エージェントのパフォーマンスが低い場合は、エージェントが次のことを行っていることを確認します。

技術的な問題なしにメッセージを処理して応答する

  • Webhook が、メッセージの種類や内容に関係なく、すべての受信メッセージを受信、確認、処理、ルーティングしていることを確認します。
  • メッセージ ペイロードに必須フィールドがない場合に備え、エージェントに効果的なフォールバック戦略が用意されていることを確認してください。フィールドがないためにユーザー メッセージが見つからないか、削除すると、ユーザー エクスペリエンスが低下します。
  • エージェントが想定されるすべてのメッセージ タイプを正常に送信していることを確認します。

親切かつ丁寧にメッセージを伝える

  • すべてのメールに返信。自動返信機能を使用すると、よくある質問に対応できます。
  • ユーザーの会話のエントリ ポイントを認識し、それに応じて対応します。たとえば、Google マップからアクセスしたユーザーは、営業時間や在庫確認といった店舗固有の情報に関心がある可能性が高くなります。
  • 位置情報ベースのメッセージの場合は、その返信に最適な個人に質問を転送します。
  • ライブ対応のエージェントが利用できない場合は、自動化を使用してユーザーに対応します。エージェントのチャット時間と連絡方法(サポート電話番号など)を伝えます。

ガイダンスを提供する

  • フレンドリーで親しみやすい口調で書かれたウェルカム メッセージを使用して、エージェントが行えることを知らせます。
  • 会話のきっかけを使用して、一般的なタスクや自動タスクにユーザーをガイドします。
  • エージェントが対応できない質問をユーザーから受けた場合は、エージェントが回答できる質問の種類についてガイダンスを提供します。

データを慎重に扱う

  • 可能な限り、リクエストするのではなく、受信したメッセージから位置情報やその他のデータを収集してください。
  • 機密情報(ログイン認証情報、銀行情報/クレジット情報、個人識別番号)はリクエストしないでください。
  • データの要求は必要な場合にのみ行う。データの超過はユーザー エクスペリエンスの低下につながります。
  • データが必要な場合は、データを使用する理由と方法を明確にします。

非同期的に動作させる

  • スレッドを無効としてマークしないでください。ビジネス メッセージによる通信は非同期であるため、ユーザーがすぐに応答しない可能性があります。
  • 連絡が取れないユーザーはフォローアップしないでください。ユーザーが会話から離れた後に切断されることはありません。

エージェントのパフォーマンスを達成するための追加のガイダンスについては、要件とガイドラインをご覧ください。