Surveiller les performances des agents à l'aide de métriques

Une fois le lancement lancé, Business Messages suit les métriques de performances clés de votre agent. Vous pouvez accéder à vos métriques via la console pour les développeurs Business Communications ou via BigQuery.

Si vous avez besoin d'analyses supplémentaires pour évaluer la réussite de votre agent, vous pouvez suivre les métriques personnalisées en surveillant les événements et d'autres attributs des conversations de votre agent.

Accéder à vos métriques

Vous pouvez accéder aux métriques au niveau du partenaire et de l'agent dans un rapport Data Studio via la console pour les développeurs Business Communications. Vous pouvez également utiliser BigQuery pour parcourir les métriques de votre agent ou y accéder de manière automatisée.

Pour accorder l'accès aux métriques à d'autres utilisateurs,

  1. Ajoutez-les en tant qu'utilisateurs à votre compte partenaire.
  2. Expliquez-leur comment accéder aux métriques via la console pour les développeurs Business Communications ou BigQuery.

Métriques au niveau du partenaire

Les métriques au niveau du partenaire affichent des données sur tous les agents que vous gérez.

  1. Ouvrez la console pour les développeurs Business Communications et connectez-vous avec votre compte Google Business Messages.
  2. Au bas de la fiche Tableau de bord des métriques, cliquez sur Afficher les métriques.

Métriques au niveau de l'agent

Les métriques au niveau de l'agent n'affichent que les données de l'agent sélectionné.

  1. Ouvrez la console pour les développeurs Business Communications et connectez-vous avec votre compte Google Business Messages.

  2. Choisissez votre agent.

    Les métriques s'affichent dans la fiche Tableau de bord des métriques.

Pour afficher des métriques plus détaillées, cliquez sur Analytics dans le panneau de navigation de gauche.

Métriques via BigQuery

BigQuery est un entrepôt de données sans serveur, évolutif et économique qui inclut le machine learning, un accès simplifié aux données et des analyses prédictives. Selon votre cas d'utilisation, vous pouvez accéder aux données dans BigQuery via l'interface utilisateur de BigQuery ou l'API BigQuery. Consultez la documentation BigQuery.

Les données de métriques dans BigQuery sont disponibles pendant 1,5 an.

Pour accéder aux métriques de l'agent dans BigQuery, vous devez remplir les conditions suivantes:

Lorsque vous avez accès à BigQuery, vous pouvez accéder aux données de votre agent dans le projet, les ensembles de données et les vues suivants:

  • ID du projet : bizcomms-bm-metrics
  • Ensembles de données: partner_metrics_user_views et partner_metrics_sa_views
  • Vues: message_metrics, session_metrics, quality_metrics et intent_metrics

Par exemple, pour afficher tous les champs de la vue "message_metrics", vous pouvez utiliser la requête suivante:

SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics

Métriques disponibles

Business Messages suit les métriques de quatre catégories : Message, Session, Qualité et Intent.

Les éléments suivants sont communs à toutes les catégories de métriques:

Métrique Définition Exemples de valeur
date Jour (UTC) de création de la session. 2021-12-31
Consultez la section Type de date de BigQuery.
agent_id ID de l'agent dont les informations de session sont calculées. 12345678-9012-3456-789012345678
agent_name Nom de l'agent. Growing Tree Bank
brand_id ID de la marque à laquelle l'agent appartient. 12345678-9012-3456-789012345678
brand_name Nom de la marque à laquelle l'agent appartient. Growing Tree International
partner_id ID du partenaire qui représente la marque. 12345678-9012-3456-789012345678
partner_name Nom du partenaire qui représente la marque. XYZ Messaging

Métriques sur les messages

Les métriques sur les messages sont calculées à partir du nombre total de messages distribués pour un jour donné. Ces métriques incluent les éléments suivants:

Métrique Définition Exemples de valeur
message_sender l'expéditeur du message ; USER,
AGENT
message_type Type du message. TEXT,
RICH_TEXT,
PHOTO,
RICH_CARD
representative_type Type du représentant qui a envoyé ce message. Vide pour les messages envoyés par les utilisateurs. BOT,
HUMAN
total_messages Nombre total de messages distribués. 11

Métriques des sessions

Une session est un regroupement temporel d'interactions, tels que des messages et des événements dans une conversation. Une session commence lorsqu'un message est envoyé et qu'une session n'est pas active. Une session se termine lorsque

  • aucun message pendant 24 heures ouvrées (pour les agents ayant la disponibilité de la messagerie humaine uniquement) (/business-communications/business-messages/guides/how-to/agents /availability). S'il y a moins de 24 heures ouvrées dans les sept prochains jours, nous utiliserons 24 heures à la place.)
  • aucun message n'apparaît pendant 30 minutes (pour les agents dont l'option de messagerie est réservée aux bots)
  • vous envoyez une enquête à un utilisateur
  • l'utilisateur supprime la conversation.
  • l'utilisateur bloque l'agent.

Les métriques sur les sessions sont calculées à partir du nombre total de sessions (actives et terminées) pour un jour donné. Ces métriques incluent les éléments suivants:

Métrique Définition Exemples de valeur
session_initiator l'auteur de la session ; USER,
AGENT
session_initiating_entry_point Point d'entrée à l'origine de la session. Consultez la section EntryPoint.
session_containment_type Types d'interactions représentatives dans la conversation, allant de l'absence de message représentatif aux messages du bot uniquement, en passant par les messages d'agent en direct. UNRESPONDED,
BOT_ONLY_CONVERSATION,
LIVE_AGENT_REQUEST_UNFULFILLED,
LIVE_AGENT_CONVERSATION,
CALL_INITIATED
has_agent_response La session comporte au moins une réponse de l'agent. TRUE,
FALSE
has_live_agent_response La session comporte au moins une réponse d'un agent. TRUE,
FALSE
has_live_agent_request La session comporte au moins une demande d'agent en direct. TRUE,
FALSE
session_depth_bucket Le nombre de messages échangés au cours des sessions 1,
2-3,
4-9,
10-24,
25-
survey_sent Indique si une enquête a été envoyée pour cette session. TRUE,
FALSE
survey_responded Si l'utilisateur a répondu à l'enquête TRUE,
FALSE
positive_survey_response Indique si la réponse à l'enquête a une note positive. Ce paramètre n'est pertinent que lorsque survey_responded est défini sur TRUE. TRUE,
FALSE
total_sessions Nombre total de sessions. 1000
average_session_depth Nombre moyen de messages échangés au cours des sessions. 23.11

Métriques de qualité

Les métriques de qualité sont calculées à partir du nombre total de sessions terminées pour un jour donné. Ces métriques incluent les éléments suivants:

Métrique Définition Exemples de valeur
date_calculated Jour (UTC) indiquant le moment où les métriques ont été calculées. 2021-12-31
Consultez la section Type de date de BigQuery.
state État actuel de l'agent. GOOD_STANDING,
REQUIRES_ATTENTION
survey_count Nombre d'enquêtes utilisées pour calculer le score de l'enquête. Si moins de 10 réponses ont été recueillies au cours des 7 derniers jours, les enquêtes les plus récentes (9 maximum) des 35 derniers jours sont utilisées. Sinon, toutes les réponses à l'enquête des 7 derniers jours sont utilisées. 84
survey_score Pourcentage de réponses positives à l'enquête. Valeur comprise entre 0 et 1.
session_count Nombre de sessions utilisées pour calculer le MRR. S'il y a moins de 3 sessions au cours des 7 derniers jours, les sessions les plus récentes (9 au maximum) des 35 derniers jours sont utilisées. Sinon, toutes les sessions des sept derniers jours sont utilisées. 143
mrr Taux de réponse du marchand (MRR). Nombre de sessions avec des réponses d'agent (bot ou agent réel) par rapport au nombre total de sessions. Valeur comprise entre 0 et 1.
hmrr Taux de réponse humaine des marchands (HMRR). Nombre de sessions avec des réponses d'agent réelles par rapport au nombre total de sessions contenant une ou plusieurs requêtes d'agent ou réponses d'agent réel. Valeur comprise entre 0 et 1.
live_agent_request_count Nombre de requêtes d'agent utilisées pour calculer hmrr. S'il y a eu moins de 10 requêtes d'agent actives au cours des sept derniers jours, les neuf requêtes d'agent actives les plus récentes des 35 derniers jours sont utilisées. Sinon, toutes les requêtes d'agent actives au cours des sept derniers jours sont utilisées. 42
suspension_date Jour (UTC) où l'agent peut être suspendu pour cause de mauvaise qualité. Défini uniquement pour les agents avec l'état "REQUIRES_ATTENTION". 2021-12-31
Consultez la section Type de date de BigQuery.

Métriques d'intent

Les métriques d'intent utilisent le machine learning pour identifier l'intent des sessions avec votre agent. Les métriques d'intent sont extraites des messages utilisateur des sessions terminées pour un jour donné. et en anglais. Ces métriques incluent les éléments suivants:

Métrique Définition Exemples de valeur
intent Type d'intent de la session. SALES_LEAD,
SERVICE
count Nombre de sessions avec le type intent spécifié. 11

Suivre des métriques personnalisées

Si vous avez des préférences de métriques différentes ou si vous avez besoin d'informations plus détaillées que celles disponibles dans le rapport sur la qualité, vous pouvez capturer vos propres données de métriques.

Voici quelques métriques que vous pourriez recueillir:

  • Satisfaction des clients. Envoyez des enquêtes pour évaluer et suivre la satisfaction des utilisateurs. Vous pouvez personnaliser les questions de votre enquête en fonction de vos besoins en matière de collecte de données.
  • Messages envoyés Capturez des détails chaque fois que votre agent envoie un message.
  • Messages reçus : Capturez des détails chaque fois que votre agent reçoit un message.
  • Taux de réponse des agents Capturez la fréquence à laquelle votre agent répond aux messages des utilisateurs. Suivez les différences entre le taux de réponse des bots et celui des agents en direct.
  • Délais de réponse des agents Capturez le temps nécessaire à votre agent pour répondre aux messages des utilisateurs. Suivez les différences entre les temps de réponse des bots et des agents en direct.
  • Reçus de livraison. Capturez les événements DELIVERED.
  • Confirmations de lecture : Capturez les événements READ.
  • Engagement utilisateur. Capturez les événements IS_TYPING, le nombre de réponses utilisateur et le décalage horaire entre les événements DELIVERED ou READ et les réponses utilisateur suivantes.

  • Type d'interaction : Identifiez la manière dont les utilisateurs répondent à vos messages. Utilisez des données de postback pertinentes pour suivre les réponses et les actions suggérées, et surveillez les formats de réponse pour déterminer si les utilisateurs envoient des images ou des messages en texte brut.

Une fois vos métriques capturées, vous pouvez les analyser et les organiser de la manière qui répond le mieux aux besoins de votre entreprise.

Surveillance des performances et seuils de suspension

Pour évaluer les performances des agents, Business Messages suit plusieurs métriques afin de s'assurer qu'ils offrent une bonne expérience utilisateur. Si un agent passe en dessous d'un seuil de métriques, Business Messages vous en informe chaque semaine par le biais d'e-mails. Si un agent reste en dessous d'un seuil pendant 28 jours, Business Messages peut le suspendre. Si votre agent est suspendu, consultez Corriger un agent suspendu.

Business Messages utilise les métriques suivantes pour suivre les performances des agents:

Métrique Description Seuil de volume Seuil de volume normal Seuil de volume faible
Satisfaction client (CSAT) Le score de satisfaction client indique l'expérience globale du client après avoir contacté un agent. 10 enquêtes 80% 0 %
Taux de réponse du marchand (MRR) Nombre de sessions avec des réponses d'agent (bot ou agent réel) par rapport au nombre total de sessions. 3 sessions 95% 60 %
Taux de réponse humain des marchands (HMRR) Nombre de sessions avec des réponses d'agent réelles par rapport au nombre total de sessions contenant une ou plusieurs requêtes d'agent ou réponses d'agent 10 demandes d'agent 95% 0 %

Le volume de chaque métrique est mesuré par rapport à un seuil de volume de métrique indépendant, supérieur ou inférieur, qui détermine si les performances de l'agent peuvent être mesurées par rapport au seuil de volume normal ou faible pour cette métrique.

Par exemple, si un agent effectue 9 enquêtes, 10 sessions et 9 requêtes d'agents réels, ses performances sont mesurées par rapport à un seuil de 0 pour le CSAT, de 95 pour le MRR et de 0 pour le HMRR. Si l'agent est inférieur à l'un de ces seuils, il est marqué à l'état "Attention requise".

S'il reste à l'état "Attention requise" pendant au moins 28 jours, il peut être suspendu.

Améliorer vos métriques

Si les performances de votre agent sont faibles, assurez-vous qu'il effectue les opérations suivantes.

Traiter les messages et y répondre sans problème technique

  • Vérifiez que votre webhook reçoit, accuse réception, traite et achemine tous les messages entrants, quel que soit leur type ou leur contenu.
  • Assurez-vous que votre agent dispose d'une stratégie de remplacement efficace au cas où un champ obligatoire serait manquant dans la charge utile d'un message. L'absence ou la suppression de messages utilisateur, car il manque un champ entraîne une mauvaise expérience utilisateur.
  • Vérifiez que votre agent envoie correctement tous les types de messages attendus.

Répondez avec intelligence et empathie

  • Répondez à tous les messages. Les réponses automatiques peuvent vous aider à répondre aux questions courantes.
  • Tenez compte des points d'entrée de conversation des utilisateurs et répondez-y en conséquence. Par exemple, les utilisateurs provenant de Google Maps sont plus susceptibles d'être intéressés par des informations spécifiques à leur établissement, comme les horaires d'ouverture et la vérification des stocks.
  • Pour les messages géolocalisés, adressez les questions aux personnes les plus à même d'y répondre.
  • Si aucun agent en direct n'est disponible, utilisez l'automatisation pour répondre à l'utilisateur. Indiquez-lui les horaires de discussion de votre agent et indiquez-lui par quels autres moyens il peut joindre quelqu'un (par exemple, un numéro de téléphone d'assistance).

Fournir des conseils

  • Utilisez un message de bienvenue, écrit sur un ton amical et accueillant, afin de définir les attentes sur ce que votre agent peut faire.
  • Utilisez des amorces de conversation pour guider les utilisateurs dans les tâches courantes ou automatisées.
  • Si un utilisateur pose une question que votre agent ne peut pas traiter, indiquez-lui les types de questions auxquels il peut répondre.

Traiter les données avec précaution

  • Dans la mesure du possible, collectez les données de localisation et d'autres données à partir des messages que vous recevez au lieu de les demander.
  • Ne demandez pas d'informations sensibles (identifiants de connexion, informations bancaires/de crédit, numéros d'identification personnelle)
  • Ne demandez les données que lorsque c'est nécessaire. Une trop grande quantité de données nuit à l'expérience utilisateur.
  • Lorsque vous avez besoin de données, soyez clair sur pourquoi et comment vous les utiliserez.

Comportement asynchrone

  • Ne pas marquer les conversations comme inactives Les communications via Business Messages sont asynchrones. Il est donc possible que les utilisateurs ne répondent pas immédiatement.
  • Ne fournissez pas de suivi si les utilisateurs ne répondent pas. Les utilisateurs ne sont pas déconnectés après avoir quitté la conversation.

Pour en savoir plus sur la manière d'atteindre les performances de l'agent, consultez les exigences et consignes.