Agent-Leistung mit Messwerten überwachen

Nach der Einführung verfolgt Business Messages wichtige Leistungsmesswerte für Ihren Agent. Sie können über die Business Communications Developer Console oder über BigQuery auf Ihre Messwerte zugreifen.

Wenn Sie zusätzliche Analysen benötigen, um den Erfolg Ihres Agents zu messen, können Sie benutzerdefinierte Messwerte verfolgen. Dazu überwachen Sie Ereignisse und andere Attribute der Unterhaltungen des Agents.

Auf Messwerte zugreifen

Sie können in einem Data Studio-Bericht über die Business Communications Developer Console auf Messwerte auf Partner- und Agent-Ebene zugreifen. Alternativ können Sie mit BigQuery die Agent-Messwerte durchsuchen oder programmatisch darauf zugreifen.

Wenn Sie anderen Nutzern Zugriff auf Messwerte gewähren möchten,

  1. Fügen Sie sie als Nutzer zu Ihrem Partnerkonto hinzu.
  2. Erklären Sie ihnen, wie sie über die Business Communications Developer Console oder BigQuery auf Messwerte zugreifen können.

Messwerte auf Partnerebene

In Messwerten auf Partnerebene werden Daten für alle von Ihnen verwalteten Agents angezeigt.

  1. Öffnen Sie die Business Communications Developer Console und melden Sie sich mit Ihrem Google-Konto für Business Messages an.
  2. Klicken Sie unten auf der Karte Messwerte-Dashboard auf Messwerte ansehen.

Messwerte auf Agent-Ebene

Messwerte auf Agent-Ebene zeigen nur Daten für den ausgewählten Agent an.

  1. Öffnen Sie die Business Communications Developer Console und melden Sie sich mit Ihrem Google-Konto für Business Messages an.

  2. Wählen Sie den Agent aus.

    Die Messwerte werden auf der Karte Messwerte-Dashboard angezeigt.

Wenn du detailliertere Messwerte sehen möchtest, klicke im linken Navigationsbereich auf Analytics.

Messwerte über BigQuery

BigQuery ist ein serverloses, skalierbares und kostengünstiges Data Warehouse mit maschinellem Lernen, einfachem Datenzugriff und prognostischen Analysen. Sie können je nach Anwendungsfall entweder über die BigQuery-UI oder die BigQuery API auf Daten in BigQuery zugreifen. Weitere Informationen finden Sie in der BigQuery-Dokumentation.

Messwertdaten in BigQuery sind 1,5 Jahre lang verfügbar.

Für den Zugriff auf Agent-Messwerte in BigQuery müssen die folgenden Anforderungen erfüllt sein:

Wenn Sie Zugriff auf BigQuery haben, können Sie in den folgenden Projekten, Datensätzen und Ansichten auf die Daten des Agents zugreifen:

  • Project ID: bizcomms-bm-metrics
  • Datensätze: partner_metrics_user_views und partner_metrics_sa_views
  • Aufrufe: message_metrics, session_metrics, quality_metrics und intent_metrics

Wenn Sie beispielsweise alle Felder aus der Ansicht „message_metrics“ sehen möchten, können Sie die folgende Abfrage verwenden:

SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics

Verfügbare Messwerte

Business Messages erfasst Messwerte in vier Kategorien: Nachricht, Sitzung, Qualität und Intent.

Die folgenden Elemente sind in allen Messwertkategorien gleich:

Messwert Definition Beispielwerte
date Der Tag (in UTC), an dem die Sitzung erstellt wurde. 2021-12-31
Siehe Datentyp von BigQuery.
agent_id Die ID des Agents, dessen Sitzungsinformationen berechnet werden. 12345678-9012-3456-789012345678
agent_name Der Name des Agents. Growing Tree Bank
brand_id Die ID der Marke, zu der der Agent gehört. 12345678-9012-3456-789012345678
brand_name Der Name der Marke, zu der der Agent gehört. Growing Tree International
partner_id Die ID des Partners, der die Marke repräsentiert. 12345678-9012-3456-789012345678
partner_name Der Name des Partners, der die Marke repräsentiert. XYZ Messaging

Messwerte für Nachrichten

Die Nachrichtenmesswerte basieren auf der Gesamtzahl der an einem bestimmten Tag zugestellten Nachrichten. Diese Messwerte umfassen die folgenden Elemente:

Messwert Definition Beispielwerte
message_sender Absender der Nachricht USER,
AGENT
message_type Typ der Nachricht. TEXT,
RICH_TEXT,
PHOTO,
RICH_CARD
representative_type Typ des Mitarbeiters, der diese Nachricht gesendet hat. Leer für Nachrichten, die von Nutzern gesendet wurden. BOT,
HUMAN
total_messages Gesamtzahl der zugestellten Nachrichten. 11

Sitzungsmesswerte

Eine Sitzung ist eine zeitgebundene Gruppierung von Interaktionen wie Nachrichten und Ereignissen in einer Unterhaltung. Eine Sitzung beginnt, wenn eine Nachricht gesendet wird und eine Sitzung derzeit nicht aktiv ist. Eine Sitzung wird beendet, wenn

  • es innerhalb von 24 Stunden keine Nachrichten gibt (für Kundenservicemitarbeiter, bei denen nur menschliche Nachrichten verfügbar sind] (/business-communications/business-messages/guides/how-to/agents /availability). Wenn in den nächsten 7 Tagen weniger als 24 Geschäftsstunden anfallen, verwenden wir stattdessen 24 Stunden.
  • Es gibt 30 Minuten lang keine Nachrichten (für Agents, die Nachrichten nur für Bot verfügbar haben)
  • senden Sie eine Umfrage an einen
  • Der Nutzer löscht die Unterhaltung
  • Der Nutzer blockiert den Agent.

Sitzungsmesswerte basieren auf der Gesamtzahl der aktiven und abgeschlossenen Sitzungen für einen bestimmten Tag. Diese Messwerte umfassen die folgenden Elemente:

Messwert Definition Beispielwerte
session_initiator Wer die Sitzung gestartet hat USER,
AGENT
session_initiating_entry_point Der Einstiegspunkt, über den die Sitzung gestartet wurde. Siehe EntryPoint.
session_containment_type Die Arten von repräsentativen Interaktionen in der Unterhaltung, von keiner repräsentativen Nachricht über nur Bot-Nachrichten bis hin zu Live-Agent-Nachrichten. UNRESPONDED,
BOT_ONLY_CONVERSATION,
LIVE_AGENT_REQUEST_UNFULFILLED,
LIVE_AGENT_CONVERSATION,
CALL_INITIATED
has_agent_response Für die Sitzung gibt es mindestens eine Antwort vom Agent. TRUE,
FALSE
has_live_agent_response Für die Sitzung gibt es mindestens eine Antwort von einem Kundenservicemitarbeiter. TRUE,
FALSE
has_live_agent_request Die Sitzung hat mindestens eine Live-Kundenservicemitarbeiter-Anfrage. TRUE,
FALSE
session_depth_bucket Die Anzahl der Nachrichten, die während der Sitzungen ausgetauscht wurden. 1,
2-3,
4-9,
10-24,
25-
survey_sent Gibt an, ob für diese Sitzung eine Umfrage gesendet wurde. TRUE,
FALSE
survey_responded Ob der Nutzer an der Umfrage teilgenommen hat. TRUE,
FALSE
positive_survey_response Ob die Umfrageantwort positiv bewertet wurde Nur sinnvoll, wenn survey_responded TRUE ist. TRUE,
FALSE
total_sessions Gesamtzahl der Sitzungen. 1000
average_session_depth Durchschnittliche Anzahl der Nachrichten, die während einer Sitzung ausgetauscht wurden 23.11

Qualitätsmesswerte

Qualitätsmesswerte basieren auf der Gesamtzahl der abgeschlossenen Sitzungen an einem bestimmten Tag. Diese Messwerte umfassen die folgenden Elemente:

Messwert Definition Beispielwerte
date_calculated Der Tag (in UTC), der angibt, wann die Messwerte berechnet wurden. 2021-12-31
Siehe Datentyp von BigQuery.
state Aktueller Status des Agents. GOOD_STANDING,
REQUIRES_ATTENTION
survey_count Anzahl der Umfragen, die zur Berechnung des Umfrageergebnisses verwendet werden. Wenn in den letzten 7 Tagen weniger als 10 Umfrageantworten eingegangen sind, werden die letzten Umfragen (maximal 9) der letzten 35 Tage verwendet. Andernfalls werden alle Umfrageantworten der letzten 7 Tage verwendet. 84
survey_score Prozentsatz der positiven Umfrageantworten. Bereich: 0 bis 1.
session_count Anzahl der Sitzungen, die zur Berechnung der MRR verwendet werden. Wenn es in den letzten 7 Tagen weniger als 3 Sitzungen gab, werden die letzten 3 Sitzungen (maximal 9) der letzten 35 Tage verwendet. Andernfalls werden alle Sitzungen der letzten 7 Tage verwendet. 143
mrr Merchant Response Rate (MRR): Die Anzahl der Sitzungen mit Agent-Antworten (Bot oder Live-Agent) im Verhältnis zur Gesamtzahl der Sitzungen. Bereich: 0 bis 1.
hmrr Human Merchant Response Rate (HMRR): Die Anzahl der Sitzungen mit Live-Agent-Antworten im Verhältnis zur Gesamtzahl der Sitzungen mit einer oder mehreren Live-Agent-Anfragen oder Live-Agent-Antworten. Bereich: 0 bis 1.
live_agent_request_count Anzahl der Live-Kundenservicemitarbeiter-Anfragen, die zur Berechnung von hmrr verwendet werden. Wenn es in den letzten 7 Tagen weniger als 10 Live-Kundenservicemitarbeiter-Anfragen gab, werden die 9 letzten Anfragen der letzten 35 Tage verwendet. Andernfalls werden alle Anfragen von Kundenservicemitarbeitern der letzten 7 Tage verwendet. 42
suspension_date Der Tag (in UTC), an dem der Kundenservicemitarbeiter aufgrund schlechter Qualität gesperrt werden kann. Nur für Agents mit dem Status „REQUIRES_ATTENTION“ festgelegt. 2021-12-31
Siehe Datentyp von BigQuery.

Intent-Messwerte

Bei Intent-Messwerten wird mithilfe von maschinellem Lernen die Absicht von Sitzungen mit dem Agent ermittelt. Intent-Messwerte werden aus Nutzernachrichten in abgeschlossenen Sitzungen für einen bestimmten Tag ermittelt. Nur auf Englisch verfügbar. Diese Messwerte umfassen die folgenden Elemente:

Messwert Definition Beispielwerte
intent Der Sitzungs-Intent-Typ. SALES_LEAD,
SERVICE
count Anzahl der Sitzungen mit dem angegebenen intent-Typ. 11

Benutzerdefinierte Messwerte erfassen

Wenn Sie andere Messwerteinstellungen haben oder detailliertere Informationen benötigen, als im Qualitätsbericht verfügbar sind, können Sie Ihre eigenen Messwertdaten erfassen.

Hier sind einige Messwerte, die Sie erfassen können:

  • Kundenzufriedenheit. Senden Sie Umfragen, um die Zufriedenheit der Nutzer zu erfassen und zu verfolgen. Sie können die Fragen an Ihre Anforderungen an die Datenerhebung anpassen.
  • Gesendete Nachrichten: Erfassen Sie jedes Mal Details, wenn der Agent eine Nachricht sendet.
  • Erhaltene Nachrichten: Erfassen Sie bei jedem Empfang einer Nachricht Details zum Agent.
  • Antwortraten von Kundenservicemitarbeitern: Erfassen Sie, wie oft der Agent auf Nutzernachrichten antwortet. Erfassen Sie die Unterschiede zwischen den Antwortraten von Bots und Live-Kundenservicemitarbeitern.
  • Antwortzeiten des Kundenservicemitarbeiters. Erfassen Sie, wie lange der Agent benötigt, um auf Nutzernachrichten zu antworten. Verfolgen Sie die Unterschiede zwischen den Antwortzeiten von Bots und Live-Kundenservicemitarbeitern.
  • Übermittlungsbestätigungen: DELIVERED-Ereignisse erfassen.
  • Lesebestätigungen READ-Ereignisse erfassen.
  • Nutzer-Engagement: Erfassen Sie IS_TYPING-Ereignisse, die Anzahl der Nutzerantworten und den Zeitunterschied zwischen DELIVERED- oder READ-Ereignissen und den folgenden Nutzerantworten.

  • Interaktionstyp: Finden Sie heraus, wie Nutzer auf Ihre Nachrichten reagieren. Verwenden Sie aussagekräftige Postback-Daten, um Antwortvorschläge und Aktionen zu verfolgen, und überwachen Sie die Antwortformate, um festzustellen, ob Nutzer Bilder oder Textnachrichten senden.

Wenn Sie Ihre Messwerte erfasst haben, können Sie sie so parsen und organisieren, wie es Ihren Geschäftsanforderungen am besten entspricht.

Leistungsüberwachung und Schwellenwerte für Kontosperrungen

Zur Bewertung der Agent-Leistung verfolgt Business Messages mehrere Messwerte, um sicherzustellen, dass Agents eine gute Nutzererfahrung bieten. Wenn ein Agent unter einen Grenzwert für Messwerte fällt, werden Sie von Business Messages wöchentlich per E-Mail über den Status des Kundenservicemitarbeiters informiert. Wenn ein Agent 28 Tage lang unter einem Schwellenwert bleibt, kann Business Messages ihn sperren. Wenn der Agent gesperrt ist, lesen Sie die Informationen unter Probleme mit gesperrten Agents beheben.

Business Messages verwendet die folgenden Messwerte, um die Agent-Leistung zu verfolgen:

Messwert Beschreibung Lautstärkegrenzwert Grenzwert für die normale Lautstärke Grenzwert für geringe Lautstärke
Kundenzufriedenheit (CSAT) Die Kundenzufriedenheit gibt Aufschluss über die Gesamterfahrung, die der Kunde nach der Interaktion mit einem Kundenservicemitarbeiter gemacht hat. 10 Umfragen 80% 0 %
Händlerantwortrate (Merchant Response Rate, MRR) Die Anzahl der Sitzungen mit Agent-Antworten (Bot oder Live-Agent) im Verhältnis zur Gesamtzahl der Sitzungen. 3 Sitzungen 95% 60 %
Human Merchant Response Rate (HMRR) Die Anzahl der Sitzungen mit Live-Agent-Antworten im Verhältnis zur Gesamtzahl der Sitzungen mit einer oder mehreren Live-Agent-Anfragen oder Live-Agent-Antworten 10 Live-Kundenserviceanfragen 95% 0 %

Das Volumen jedes Messwerts wird anhand eines unabhängigen Messwertvolumen-Schwellenwerts gemessen, der darüber oder darunter liegt, ob die Leistung des Agents mit dem normalen oder dem Schwellenwert für das geringe Volumen für diesen Messwert gemessen werden kann.

Wenn ein Agent beispielsweise 9 Umfragen, 10 Sitzungen und 9 Live-Kundenserviceanfragen hat, wird die Leistung des Agents anhand eines Schwellenwerts von 0 für CSAT, 95 für MRR und 0 für HMRR gemessen. Wenn der Agent unter einem dieser Grenzwerte liegt, erhält er den Status „Überprüfung erforderlich“.

Wenn sich der Agent 28 Tage oder länger im Status „Überprüfung erforderlich“ befindet, wird er möglicherweise gesperrt.

Messwerte verbessern

Wenn die Leistung des Agents niedrig ist, sorgen Sie dafür, dass er Folgendes tut.

Nachrichten ohne technische Probleme verarbeiten und beantworten

  • Prüfen Sie, ob der Webhook alle eingehenden Nachrichten empfängt, bestätigt, verarbeitet und weiterleitet, unabhängig von Nachrichtentyp oder -inhalt.
  • Achten Sie darauf, dass der Agent eine effektive Fallback-Strategie für den Fall hat, dass ein Pflichtfeld in einer Nachrichtennutzlast fehlt. Wenn Nutzernachrichten fehlen oder gelöscht werden, weil ein Feld fehlt, beeinträchtigt dies die Nutzerfreundlichkeit.
  • Prüfen Sie, ob der Agent alle erwarteten Nachrichtentypen erfolgreich sendet.

Antworte intelligent und mitfühlend

  • Auf jede Nachricht antworten Automatische Antworten können Ihnen dabei helfen, häufige Fragen zu beantworten.
  • Achten Sie auf die Gesprächseinstiege der Nutzer und reagieren Sie entsprechend. Nutzer, die über Google Maps auf die Website gelangen, interessieren sich beispielsweise eher für standortbezogene Informationen wie Öffnungszeiten und Bestandsprüfungen.
  • Bei standortbasierten Nachrichten sollten Sie die Fragen an die Personen weiterleiten, die am besten darauf antworten können.
  • Wenn kein Kundenservicemitarbeiter verfügbar ist, kannst du mithilfe von Automatisierung auf den Nutzer antworten. Teilen Sie ihm mit, für welche Zeiten der Agent erreichbar ist und wie er ihn noch erreichen kann (z. B. eine Supporttelefonnummer).

Orientierung bieten

  • Verwenden Sie eine Begrüßungsnachricht, die in einem freundlichen und freundlicheren Ton verfasst ist, um zu verdeutlichen, was der Agent tun kann.
  • Verwenden Sie Unterhaltungsstarter, um Nutzer durch gängige oder automatisierte Aufgaben zu führen.
  • Wenn ein Nutzer eine Frage stellt, die Ihr Agent nicht beantworten kann, geben Sie an, welche Art von Fragen er beantworten kann.

Sorgfältiger Umgang mit Daten

  • Erfassen Sie nach Möglichkeit Standort- und andere Daten aus empfangenen Nachrichten, anstatt danach zu fragen.
  • Fordere keine vertraulichen Informationen an (Anmeldeinformationen, Bank-/Kreditdaten, persönliche Identifikationsnummern).
  • Fragen Sie nur dann Daten nach, wenn sie auch wirklich erforderlich sind. Die Überschreitung der Reichweite beeinträchtigt die User Experience.
  • Wenn Sie Daten benötigen, erklären Sie, warum und wie Sie sie verwenden werden.

Asynchrones Verhalten

  • Konversationen nicht als inaktiv markieren. Die Kommunikation über Business Messages erfolgt asynchron, sodass Nutzer möglicherweise nicht sofort reagieren.
  • Reagieren Sie nicht bei Nutzern, die nicht reagieren. Die Verbindung der Nutzenden bleibt auch nach dem Verlassen der Unterhaltung erhalten.

Weitere Hinweise zum Erreichen der Agent-Leistung finden Sie unter Anforderungen und Richtlinien.