使用指标监控代理性能

发布后，Business Messages 会跟踪您的代理的关键性能指标。您可以通过 Business Communications 开发者控制台或 BigQuery 访问自己的指标。

如果您需要额外的分析结果来衡量代理的成效，可以通过监控代理对话的事件和其他特性来跟踪自定义指标。

访问您的指标

您可以通过 Business Communications 开发者控制台访问数据洞察报告中的合作伙伴级和代理级指标。或者，您也可以使用 BigQuery 浏览或以编程方式访问代理指标。

如需向其他用户授予指标访问权限，请执行以下操作：

  1. 将他们添加为用户到您的合作伙伴帐号中。
  2. 指导他们如何通过 Business Communications 开发者控制台或 BigQuery 访问指标。

合作伙伴级指标

合作伙伴级指标会显示您管理的所有代理的数据。

  1. 打开 Business Communications 开发者控制台，然后使用您的 Business Messages Google 帐号登录。
  2. 在指标信息中心卡片底部，点击查看指标。

代理级指标

代理级指标仅显示所选代理的数据。

  1. 打开 Business Communications 开发者控制台，然后使用您的 Business Messages Google 帐号登录。

  2. 选择您的代理。

    指标会显示在指标信息中心卡片中。

要查看更详细的指标，请点击左侧导航栏中的数据分析。

通过 BigQuery 查看指标

BigQuery 是一个无服务器、可扩缩且经济实惠的数据仓库，具有机器学习、轻松的数据访问和预测分析功能。您可以通过 BigQuery 界面或 BigQuery API 访问 BigQuery 中的数据，具体取决于您的使用场景。请参阅 BigQuery 文档。

BigQuery 中的指标数据的有效期为 1 年半。

如需在 BigQuery 中访问代理指标，您需要满足以下要求：

当您有权访问 BigQuery 时，可以在以下项目、数据集和视图中访问代理的数据：

  • Project ID：bizcomms-bm-metrics
  • 数据集：partner_metrics_user_views 和 partner_metrics_sa_views
  • 视图：message_metrics、session_metrics、quality_metrics 和 intent_metrics

例如，如需查看 message_metrics 视图中的所有字段，可以使用以下查询：

SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics

可用指标

Business Messages 可跟踪以下四个类别的指标：消息、会话、质量和意图。

以下各项是通用的指标类别：

指标 定义 示例值
date 会话的创建日期（采用世界协调时间）。 2021-12-31
请参阅 BigQuery 的日期类型。
agent_id 要计算其会话信息的代理的 ID。 12345678-9012-3456-789012345678
agent_name 代理的名称。 Growing Tree Bank
brand_id 代理所属品牌的 ID。 12345678-9012-3456-789012345678
brand_name 代理所属的品牌的名称。 Growing Tree International
partner_id 代表品牌的合作伙伴的 ID。 12345678-9012-3456-789012345678
partner_name 代表品牌的合作伙伴的名称。 XYZ Messaging

消息指标

消息指标是根据指定日期的已传送消息总数提取的。这些指标包括以下各项：

指标 定义 示例值
message_sender 消息的发送者。 USER、
AGENT
message_type 消息的类型。 TEXT、
RICH_TEXT、
PHOTO、
RICH_CARD
representative_type 发送此消息的代表的类型。对于用户发送的消息，则为空。 BOT、
HUMAN
total_messages 已递送的消息总数。 11

会话指标

“会话”是对互动（例如对话中的消息和事件）的有时限性分组。发送消息后会话当前未处于活跃状态时，会话开始。会话在以下情况下关闭：

  • 在 24 个工作小时内没有消息（针对仅提供人工消息功能的客服人员] (/business-communications/business-messages/guides/how-to/agents /availability）。如果未来 7 天内的工作时间少于 24 小时，我们将改用 24 小时。）
  • 30 分钟内没有消息（适用于仅可接收聊天机器人的消息功能的代理）
  • 您可以向用户发送调查问卷
  • 用户删除对话
  • 用户屏蔽代理

会话指标取自指定日期的活跃会话总数和已完成会话总数。这些指标包括以下各项：

指标 定义 示例值
session_initiator 发起会话的人员。 USER、
AGENT
session_initiating_entry_point 启动会话的入口点。 请参阅 EntryPoint。
session_containment_type 对话中代表性互动的类型，从没有代表性消息到仅聊天机器人消息，再到人工客服消息。 UNRESPONDED、
BOT_ONLY_CONVERSATION、
LIVE_AGENT_REQUEST_UNFULFILLED、
LIVE_AGENT_CONVERSATION、
CALL_INITIATED
has_agent_response 会话至少有一个来自代理的响应。 TRUE、
FALSE
has_live_agent_response 会话至少有一条来自人工客服的回复。 TRUE、
FALSE
has_live_agent_request 会话至少有一个人工客服请求。 TRUE、
FALSE
session_depth_bucket 会话期间互通消息的数量。 1、
2-3、
4-9、
10-24、
25-
survey_sent 是否针对此会话发送了调查问卷。 TRUE、
FALSE
survey_responded 如果用户回复了调查问卷。 TRUE、
FALSE
positive_survey_response 调查问卷回复是否获得正面评分。仅当 survey_responded 为 TRUE 时才有意义。 TRUE、
FALSE
total_sessions 会话总数。 1000
average_session_depth 会话期间平均收发的消息数量。 23.11

质量指标

质量指标取自指定日期的已完成会话总数。这些指标包括以下各项：

指标 定义 示例值
date_calculated 表示指标的计算时间的日期（采用世界协调时间）。 2021-12-31
请参阅 BigQuery 的日期类型。
state 代理的当前状态。 GOOD_STANDING、
REQUIRES_ATTENTION
survey_count 用于计算调查问卷得分的调查问卷数量。如果过去 7 天的调查问卷回复少于 10 条，则使用过去 35 天内的最新调查问卷（最多 9 条）。否则，系统将使用过去 7 天内的所有调查问卷回复。 84
survey_score 调查问卷正面回复所占的百分比。 范围是：0 - 1。
session_count 用于计算 MRR 的会话数。如果过去 7 天内的会话少于 3 个，则使用过去 35 天内的最近会话（最多 9 个）。否则，使用过去 7 天内的所有会话。 143
mrr 商家回复率 (MRR)。有代理响应（聊天机器人或人工客服）的会话数在总会话数中的占比。 范围是：0 - 1。
hmrr 人工商家响应率 (HMRR)。获得人工客服响应的会话数在包含一个或多个人工客服请求或人工客服响应的会话总数中的占比。 范围是：0 - 1。
live_agent_request_count 用于计算 hmrr 的人工客服请求数。如果过去 7 天内的人工客服请求数量少于 10 个，系统会使用过去 35 天内最近的 9 个人工客服请求。 否则，系统会使用过去 7 天内的所有人工客服请求。 42
suspension_date 客服人员可能因服务质量不佳而被暂停的日子（采用世界协调时间）。 仅针对状态为“REQUIRES_ATTENTION”的代理进行设置。 2021-12-31
请参阅 BigQuery 的日期类型。

意向指标

意图指标使用机器学习技术来识别与代理的会话的意图。系统会从指定日期的已完成会话中的用户消息中提取 intent 指标。仅提供英文版。这些指标包括以下各项：

指标 定义 示例值
intent 会话 intent 类型。 SALES_LEAD、
SERVICE
count 具有指定 intent 类型的会话的数量。 11

跟踪自定义指标

如果您有不同的指标偏好设置或需要比质量报告中更深入的信息，您可以捕获自己的指标数据。

以下是您可能会获取的一些指标：

  • 客户满意度。发送调查问卷以获取并跟踪用户满意度。您可以根据数据收集要求自定义调查问卷问题。
  • 消息已发送。每次代理发送消息时捕获详细信息。
  • 收到的邮件数。在每次代理收到消息时捕获详细信息。
  • 代理响应率。捕获您的代理响应用户消息的频率。跟踪聊天机器人和人工客服的回复率之间的差异。
  • 代理响应时间。捕获代理响应用户消息所用的时间。跟踪聊天机器人和人工客服的响应时间之间的差异。
  • 递送回执。捕获 DELIVERED 事件。
  • 已读回执。捕获 READ 事件。
  • 用户互动。捕获 IS_TYPING 事件、用户响应数量，以及 DELIVERED 或 READ 事件与以下用户响应之间的时间差。

  • 互动类型。了解用户如何回复您的消息。使用有意义的回传数据跟踪建议的回复和操作，并监控响应格式以确定用户发送的是图片还是纯文本。

捕获指标后，您可以根据自己的业务需求来解析和整理这些指标。

效果监控和暂停阈值

为了评估代理性能，Business Messages 会跟踪多个指标，以确保代理提供良好的用户体验。如果代理低于指标阈值，则 Business Messages 会通过每周代理状态电子邮件向您发出警告。如果代理持续低于阈值 28 天，Business Messages 可能会暂停该代理。如果您的代理已暂停，请参阅修复已暂停的代理。

Business Messages 使用以下指标来跟踪代理表现：

指标 说明 音量阈值 正常音量阈值 搜索量较低的阈值
客户满意度 (CSAT) 客户满意度得分反映了客户与客服人员互动后获得的整体体验。 10 份调查问卷 80% 0%
商家回复率 (MRR) 有代理响应（聊天机器人或人工客服）的会话数在总会话数中的占比。 3 次会话 95% 60%
人工商家回复率 (HMRR) 获得人工客服响应的会话数在包含一个或多个人工客服请求或人工客服响应的会话总数中的占比 10 个人工客服请求 95% 0%

每个指标的量均根据独立的指标量阈值进行衡量，指标量高于或低于该阈值，从而确定代理性能的衡量依据是该指标的正常量阈值还是低数据量阈值。

例如，如果代理有 9 个调查问卷、10 个会话和 9 个人工客服请求，则 CSAT 的阈值为 0、MRR 为 95、HMRR 为 0。如果代理低于这些阈值，则会将代理标记为“需要注意”状态。

如果代理持续处于“需要注意”状态 28 天或更长时间，则代理可能会被暂停。

改善指标

如果代理性能低下，请确保您的代理执行以下操作。

处理和回复消息，而不会遇到技术问题

  • 确认您的 webhook 会接收、确认、处理和路由所有传入消息，而无论消息类型或内容如何。
  • 请确保您的代理具有有效的回退策略，以防消息载荷中缺少必填字段。因为缺少字段而丢失或丢弃用户消息会导致用户体验不佳。
  • 确认您的代理已成功发送所有预期消息类型。

以聪明、热情的态度回复

  • 回复每一封邮件。自动回复功能可帮助您解决常见问题。
  • 了解用户的对话入口点，并相应地做出响应。 例如，来自 Google 地图的用户更有可能对营业时间和库存调查等特定于营业地点的信息感兴趣。
  • 对于基于位置的消息，请将问题路由到最适合回复它们的人员。
  • 如果人工客服不可用，请使用自动化功能回应用户。 让他们知道您的代理的聊天时间，以及他们可以通过其他方式联系某人（例如，支持电话号码）。

提供指导

  • 使用欢迎辞，采用友好、热情的语气编写，让客户对客服人员能做的事有所了解。
  • 使用对话开场白引导用户完成常见任务或自动化任务。
  • 如果用户询问您的代理无法处理的问题，请在回复时提供关于代理可以回答的问题类型的指导。

谨慎处理数据

  • 尽可能从您收到的消息中收集位置信息和其他数据，而不是索取。
  • 请勿请求敏感信息（登录凭据、银行/信用详细信息、个人身份信息）
  • 仅在需要时请求数据。数据泄露会导致糟糕的用户体验。
  • 如果您需要数据，请明确说明原因和使用方式。

异步行为

  • 不将会话标记为非活动状态。通过 Business Messages 进行的通信是异步进行的，因此用户可能不会立即响应。
  • 请勿跟进未回复的用户。用户离开对话后并未断开连接。

如需了解有关实现代理性能的其他指导，请参阅要求和准则。