起動後、ビジネス メッセージによってエージェントの主要なパフォーマンス指標が追跡されます。指標にアクセスするには、Business Communications Developer Console または BigQuery を使用します。
エージェントの成功を測定するために追加の分析が必要な場合は、エージェントの会話のイベントやその他の属性をモニタリングすることで、カスタム指標を追跡できます。
指標にアクセスする
パートナー レベルとエージェント レベルの指標は、データポータル レポートで Business Communications Developer Console からアクセスできます。BigQuery を使用して、エージェント指標を参照するか、プログラムで指標にアクセスすることもできます。
他のユーザーに指標へのアクセス権を付与するには:
- パートナー アカウントにユーザーとして追加します。
- Business Communications Developer Console または BigQuery から指標にアクセスする方法をお客様に説明します。
パートナー レベルの指標
パートナー レベルの指標には、管理対象のすべてのエージェントのデータが表示されます。
- Business Communications Developer Console を開き、ビジネス メッセージ Google アカウントでログインします。
- [指標のダッシュボード] カードの下部にある [指標を表示] をクリックします。
エージェント レベルの指標
エージェント レベルの指標には、選択したエージェントのデータのみが表示されます。
- Business Communications Developer Console を開き、ビジネス メッセージ Google アカウントでログインします。
エージェントを選択します。
[Metrics Dashboard] カードに指標が表示されます。
より詳細な指標を表示するには、左側のナビゲーションで [アナリティクス] をクリックします。
BigQuery を介した指標
BigQuery は、機械学習、容易なデータアクセス、予測分析を備えた、サーバーレスでスケーラブル、かつ費用対効果の高いデータ ウェアハウスです。BigQuery のデータには、ユースケースに応じて BigQuery UI または BigQuery API を介してアクセスできます。BigQuery のドキュメントをご覧ください。
BigQuery の指標データは 1.5 年間利用できます。
BigQuery でエージェント指標にアクセスするには、次の要件を満たす必要があります。
- Google Cloud Platform へのアクセス管理者の方は、組織で GCP を有効にする方法をご確認ください。
- BigQuery へのアクセス。BigQuery の取得方法を学習する。
- BigQuery でお支払い情報が設定されているプロジェクト。Google Cloud Billing の設定方法を学習する。お支払い情報の設定が必要なプロジェクトがない場合は、トライアル環境で BigQuery データを操作できます。BigQuery を試用する方法をご確認ください。
BigQuery にアクセスできる場合、以下のプロジェクト、データセット、ビューでエージェントのデータにアクセスできます。
- プロジェクト ID:
bizcomms-bm-metrics - データセット:
partner_metrics_user_viewsとpartner_metrics_sa_views - ビュー:
message_metrics、session_metrics、quality_metrics、intent_metrics
たとえば、message_metrics ビューのすべてのフィールドを表示するには、次のクエリを使用します。
SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics
利用可能な指標
ビジネス メッセージは、メッセージ、セッション、品質、インテントの 4 つのカテゴリで指標を追跡します。
次の項目は、指標カテゴリで共通です。
| 指標 | 定義 | サンプル値 |
|---|---|---|
date |
セッションが作成された日（UTC）。 |
2021-12-31BigQuery のデータ型をご覧ください。 |
agent_id |
セッション情報を計算するエージェントの ID。 |
12345678-9012-3456-789012345678
|
agent_name |
エージェントの名前。 |
Growing Tree Bank
|
brand_id |
エージェントが属するブランドの ID。 |
12345678-9012-3456-789012345678
|
brand_name |
エージェントが属するブランドの名前。 |
Growing Tree International
|
partner_id |
ブランドを表すパートナーの ID。 |
12345678-9012-3456-789012345678
|
partner_name |
ブランドを代表するパートナーの名前。 |
XYZ Messaging
|
メッセージの指標
メッセージ指標は、特定の 1 日に配信されたメッセージの合計数から算出されます。これらの指標には次のアイテムが含まれます。
| 指標 | 定義 | サンプル値 |
|---|---|---|
message_sender |
メッセージの送信者。 |
USER、AGENT
|
message_type |
メッセージの種類。 |
TEXT、RICH_TEXT、PHOTO、RICH_CARD
|
representative_type |
このメッセージを送信した担当者のタイプ。ユーザーが送信したメッセージの場合は空。 |
BOT、HUMAN
|
total_messages |
配信されたメッセージの合計数。 |
11
|
セッション指標
セッションは、会話内のメッセージやイベントなど、時間制限付きのインタラクションです。メッセージが送信され、現在セッションがアクティブになっていないときに、セッションが開始されます。次の場合、セッションは終了します。
- 12 時間、メッセージがない（人間のみのメッセージ機能があるエージェントの場合）
- 30 分間メッセージがない（bot 専用のメッセージ機能があるエージェントの場合）
- ユーザーに送信するアンケートも
- ユーザーが会話を削除した場合
- ユーザーがエージェントをブロックした
セッション指標は、特定の日のアクティブなセッションの合計数から完了したセッションの合計数から取得されます。これらの指標には次のアイテムが含まれます。
| 指標 | 定義 | サンプル値 |
|---|---|---|
session_initiator |
セッションを開始したユーザー。 |
USER、AGENT
|
session_initiating_entry_point |
セッションを開始したエントリ ポイント。 | EntryPoint をご覧ください。 |
session_containment_type |
会話における代表的なインタラクションのタイプ。代表的なメッセージなしから、bot メッセージのみのライブ メッセージまで、さまざまです。 |
UNRESPONDED、BOT_ONLY_CONVERSATION、LIVE_AGENT_REQUEST_UNFULFILLED、LIVE_AGENT_CONVERSATION、CALL_INITIATED
|
has_agent_response |
セッションにはエージェントからの応答が 1 回以上あります。 |
TRUE、FALSE
|
has_live_agent_response |
セッションには、人間のエージェントからの回答が 1 回以上あります。 |
TRUE、FALSE
|
has_live_agent_request |
セッションには少なくとも 1 つのライブ エージェント リクエストがあります。 |
TRUE、FALSE
|
session_depth_bucket |
セッション中に交換されたメッセージの数。 |
1、2-3、4-9、10-24、25-
|
survey_sent |
このセッションでアンケートが送信されている場合。 |
TRUE、FALSE
|
survey_responded |
ユーザーがアンケートに回答した場合。 |
TRUE、FALSE
|
positive_survey_response |
アンケートの回答が肯定的なものである場合。survey_responded が TRUE の場合にのみ意味があります。 |
TRUE、FALSE
|
total_sessions |
セッションの合計数。 |
1000
|
average_session_depth |
セッション中に交換されたメッセージの平均数。 |
23.11
|
品質指標
品質指標は、特定の日に完了したセッションの総数から得られます。これらの指標には次のアイテムが含まれます。
| 指標 | 定義 | サンプル値 |
|---|---|---|
date_calculated |
指標が計算された日（UTC）。 |
2021-12-31BigQuery のデータ型をご覧ください。 |
state |
エージェントの現在の状態。 |
GOOD_STANDING、REQUIRES_ATTENTION
|
survey_count |
アンケートのスコアの計算に使用されるアンケートの数。過去 7 日間の回答数が 10 件未満の場合は、過去 35 日間の最新（最大 9 件）のアンケートが使用されます。それ以外の場合は、過去 7 日間のすべてのアンケート回答が使用されます。 |
84
|
survey_score |
アンケートで肯定的な回答が得られた割合。 |
値の範囲は 0～1 です。 |
session_count |
MRR の計算に使用されるセッションの数。過去 7 日間のセッションが 3 回未満の場合は、過去 35 日間の最新セッション（最大 9 回）が使用されます。それ以外の場合は、過去 7 日間のすべてのセッションが使用されます。 |
143
|
mrr |
販売者レスポンス率（MRR）。エージェントのレスポンス（bot またはライブ エージェント）が発生したセッションの数（セッションの総数に対する割合）。 |
値の範囲は 0～1 です。 |
hmrr |
人間の販売者からの応答率（HMRR）。ライブ エージェント レスポンスが発生したセッションの数（1 つ以上のライブ エージェント リクエストまたはライブ エージェント レスポンスが含まれるセッションの割合に対する割合）。 |
値の範囲は 0～1 です。 |
live_agent_request_count |
hmrr の計算に使用されるライブ エージェント リクエストの数。過去 7 日間のライブ エージェント リクエストが 10 件未満の場合は、過去 35 日間の最新 9 件のライブ エージェント リクエストが使用されます。それ以外の場合は、過去 7 日間のすべてのライブ エージェント リクエストが使用されます。 |
42
|
suspension_date |
品質が低いためにエージェントが停止される可能性がある日（UTC）。ステータスが REQUIRES_ATTENTION であるエージェントにのみ設定されます。 |
2021-12-31BigQuery のデータ型をご覧ください。 |
インテントの指標
インテントの指標は、機械学習を使用してエージェントとのセッションのインテントを識別します。インテント指標は、特定の日の完了セッションでユーザー メッセージから取得されます。英語でのみご利用いただけます。これらの指標には次のアイテムが含まれます。
| 指標 | 定義 | サンプル値 |
|---|---|---|
intent |
セッション インテントのタイプ。 |
SALES_LEAD、SERVICE
|
count |
指定した intent タイプのセッション数。 |
11
|
カスタム指標をトラッキングする
指標の設定が異なる場合や、品質レポートよりも詳細な情報が必要な場合は、独自の指標データをキャプチャできます。
収集できる指標には、次のようなものがあります。
- 顧客満足度。アンケートを送信してユーザーの満足度を把握、追跡します。アンケートの要件はデータ収集の要件に応じてカスタマイズできます。
- メッセージを送信しました。エージェントがメッセージを送信するたびに詳細をキャプチャします。
- メッセージを受信しました。エージェントがメッセージを受信するたびに、詳細情報を取得します。
- エージェントの回答率。エージェントがユーザー メッセージに応答する頻度をキャプチャします。bot と人間のエージェントの応答率の違いを追跡します。
- エージェントの応答時間。エージェントがユーザー メッセージに応答するのにかかる時間をキャプチャします。bot と人間のエージェントの応答時間の違いを追跡します。
- 領収書。
DELIVEREDイベントをキャプチャする。 - 開封確認メッセージ。
READイベントをキャプチャする。 - ユーザー エンゲージメント。
IS_TYPINGイベント、ユーザー レスポンスの数、DELIVEREDまたはREADイベントとその後のユーザー レスポンスの時間差をキャプチャします。 インタラクションの種類。メッセージに対するユーザーの反応を特定します。有意義なポストバック データを使用して、返信とアクションの候補を追跡し、レスポンス形式をモニタリングして、ユーザーが画像と書式なしテキスト メッセージのどちらを送信するかを特定します。
キャプチャした指標により、ビジネスニーズに最適な指標を解析して整理できます。
パフォーマンス モニタリングと停止のしきい値
エージェントのパフォーマンスを評価するために、ビジネス メッセージは複数の指標を追跡して、エージェントが優れたユーザー エクスペリエンスを提供していることを確認します。エージェントが指標のしきい値を下回ると、ビジネス メッセージによって週次のエージェント ステータス メールが警告されます。エージェントが 28 日間、しきい値を下回ったままの場合、ビジネス メッセージによってエージェントが停止される可能性があります。エージェントが停止されている場合は、一時停止されたエージェントを修正するをご覧ください。
ビジネス メッセージでは、エージェントを「通常の件数」（過去 7 日間に 10 件以上のセッション）または「件数が少ない」（過去 7 日間に 10 件未満）に分類しています。これらのカテゴリに基づき、ビジネス メッセージでは次の指標を使用してエージェントのパフォーマンスを追跡します。
| 指標 | 説明 | 通常の音量のしきい値 | 少量のしきい値 |
|---|---|---|---|
| 販売者の回答率（MRR） | 自動化または人間のエージェントを通じて、ユーザーとの新たな会話にエージェントが応答する頻度（%）。 | 95% | 60% |
エージェントのパフォーマンス状態は、過去 35 日間に 3 回以上行われたセッションに基づいています。
指標を改善する
エージェントのパフォーマンスが低い場合は、次のように対応してください。
技術的な問題にならずにメッセージを処理して返信
- メッセージのタイプやコンテンツに関係なく、Webhook がすべての受信メッセージを受信、確認応答、処理、ルーティングしていることを確認します。
- メッセージ ペイロードに必須フィールドがない場合に備えて、エージェントに有効なフォールバック戦略を用意してください。フィールドの欠落によりユーザー メッセージが欠落または削除されると、ユーザー エクスペリエンスが低下します。
- エージェントが想定されるメッセージ タイプをすべて送信したことを確認します。
思いやりをもってスマートに返答する
- すべてのメッセージに返信する。自動返信は、よくある質問への回答に役立ちます。
- ユーザーの会話のエントリ ポイントを認識し、それに応じて応答します。たとえば、Google マップからアクセスしているユーザーは、営業時間や在庫の確認など、地域固有の情報に関心を持っている可能性があります。
- 位置情報ベースのメッセージでは、メッセージへの対応に最も適した担当者にルーティングします。
- ライブ対応のエージェントが対応できない場合は、自動化を使用してユーザーに応答します。チャット時間や、電話で誰かと連絡が取れる方法（サポートの電話番号など）を知らせてください。
ガイダンスを提供する
- ウェルカム メッセージは、親しみやすく、歓迎される雰囲気で作成し、エージェントが期待できることを設定します。
- 会話の始め方を使用して、一般的なタスクや自動化されたタスクをユーザーに案内します。
- エージェントが対応できない質問をユーザーから受けた場合、エージェントが回答できる種類の質問についてのガイダンスで応答します。
データを慎重に扱う
- 位置情報などのデータは可能な限り、メッセージの受信ではなく収集します。
- 機密情報（ログイン、銀行取引やクレジット カードの詳細、個人識別番号）は入力しないでください。
- 必要な場合にのみデータを要求します。データ超過はユーザー エクスペリエンスの低下につながります。
- データが必要な場合は、その理由と使用方法を明確に説明します。
非同期で動作
- 会話に非アクティブのマークを付けないでください。ビジネス メッセージを使った通信は非同期であるため、ユーザーがすぐに返信できない場合があります。
- 返信のないユーザーに対するフォローアップは行わないでください。会話から移動してもユーザーは切断されません。
エージェントのパフォーマンスを得るためのその他のガイダンスについては、要件とガイドラインをご覧ください。