Monitorowanie wydajności agenta za pomocą wskaźników

Po wprowadzeniu funkcji Business Messages śledzi kluczowe dane o wydajności agenta. Dostęp do wskaźników możesz uzyskać w konsoli programisty Business Communications lub przez BigQuery.

Jeśli potrzebujesz dodatkowych statystyk, aby mierzyć skuteczność agenta, możesz śledzić dane niestandardowe, monitorując zdarzenia i inne atrybuty rozmów agenta.

Dostęp do danych

Dane na poziomie partnera i agenta są dostępne w raporcie Studia danych w konsoli programisty Business Communications. Możesz też przeglądać dane agenta w BigQuery lub uzyskiwać do nich programowy dostęp.

Aby przyznać dostęp do wskaźników innym użytkownikom,

  1. Dodaj ich jako użytkowników do swojego konta partnera.
  2. Wyjaśnij, jak uzyskać dostęp do wskaźników za pomocą konsoli programisty Business Communications lub BigQuery.

Dane na poziomie partnera

Wskaźniki na poziomie partnera wyświetlają dane wszystkich agentów, którymi zarządzasz.

  1. Otwórz konsolę programisty Business Communications i zaloguj się na konto Google Business Messages.
  2. Na dole karty Panel danych kliknij Wyświetl dane.

Wskaźniki na poziomie agenta

Wskaźniki na poziomie agenta wyświetlają tylko dane dotyczące wybranego agenta.

  1. Otwórz konsolę programisty Business Communications i zaloguj się na konto Google Business Messages.

  2. Wybierz agenta.

    Dane są widoczne na karcie Panel danych.

Aby zobaczyć bardziej szczegółowe dane, w menu nawigacyjnym po lewej stronie kliknij Statystyki.

Wskaźniki przez BigQuery

BigQuery to bezserwerowa, skalowalna i ekonomiczna hurtownia danych z systemami uczącymi się, łatwym dostępem do danych i analizą predykcyjną. W zależności od zastosowania możesz uzyskiwać dostęp do danych w BigQuery przez interfejs BigQuery lub interfejs BigQuery API. Zapoznaj się z dokumentacją BigQuery.

Dane wskaźników w BigQuery są dostępne przez 1,5 roku.

Aby uzyskać dostęp do danych agenta w BigQuery, musisz spełniać te wymagania:

Gdy masz dostęp do BigQuery, dane agenta możesz uzyskać w tym projekcie, zbiorach danych i widokach danych:

  • Identyfikator projektu: bizcomms-bm-metrics
  • Zbiory danych: partner_metrics_user_views i partner_metrics_sa_views
  • Wyświetlenia: message_metrics, session_metrics, quality_metrics i intent_metrics

Aby np. zobaczyć wszystkie pola z widoku message_metrics, możesz użyć tego zapytania:

SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics

Dostępne dane

Business Messages śledzi dane w 4 kategoriach: Wiadomość, Sesja, Jakość i Zamiar.

Te elementy są wspólne dla różnych kategorii danych:

Dane Definicja Przykładowe wartości
date Dzień (w czasie UTC), w którym została utworzona sesja. 2021-12-31
Zobacz typ daty w BigQuery.
agent_id Identyfikator agenta, którego informacje o sesji są obliczane. 12345678-9012-3456-789012345678
agent_name Nazwa agenta. Growing Tree Bank
brand_id Identyfikator marki, do której należy agent. 12345678-9012-3456-789012345678
brand_name Nazwa marki, do której należy agent. Growing Tree International
partner_id Identyfikator partnera reprezentującego markę. 12345678-9012-3456-789012345678
partner_name Nazwa partnera reprezentującego markę. XYZ Messaging

Dane wiadomości

Dane dotyczące wiadomości są pobierane na podstawie łącznej liczby dostarczonych wiadomości w danym dniu. Do tych danych należą:

Dane Definicja Przykładowe wartości
message_sender kto wysłał wiadomość, USER,
AGENT
message_type Typ wiadomości. TEXT,
RICH_TEXT,
PHOTO,
RICH_CARD
representative_type Rodzaj przedstawiciela, który wysłał tę wiadomość. Pole jest puste w przypadku wiadomości wysyłanych przez użytkowników. BOT,
HUMAN
total_messages Łączna liczba dostarczonych wiadomości. 11

Dane sesji

Sesja to ograniczona czasowo grupa interakcji, takich jak wiadomości i zdarzenia w rozmowie. Sesja rozpoczyna się, gdy zostanie wysłana wiadomość, a sesja nie jest aktywna. Sesja kończy się, gdy

  • w ciągu 24 godzin roboczych nie ma wiadomości (dotyczy pracowników obsługi klienta, których obsługa jest dostępna tylko dla pracowników) (/komunikacja-biznesowa/wiadomości-firmowe/przewodniki/instrukcje/pracownicy obsługi klienta /dostępność). Jeśli w ciągu następnych 7 dni minęło mniej niż 24 godziny robocze, użyjemy zamiast tego 24 godzin).
  • przez 30 minut nie było żadnych wiadomości (dotyczy pracowników obsługi klienta z atrybutem dostępność wiadomości tylko dla bota).
  • wysyłasz ankietę do użytkownika,
  • użytkownik usuwa rozmowę.
  • użytkownik blokuje agenta

Dane o sesjach są pobierane na podstawie łącznej liczby sesji (aktywnych i zakończonych) z danego dnia. Do tych danych należą:

Dane Definicja Przykładowe wartości
session_initiator kto zainicjował sesję; USER,
AGENT
session_initiating_entry_point Punkt wejścia, który zainicjował sesję. Zobacz EntryPoint.
session_containment_type Typy reprezentatywnych interakcji w rozmowie – od braku reprezentatywnej wiadomości przez tylko wiadomości od botów po wiadomości na żywo agenta. UNRESPONDED,
BOT_ONLY_CONVERSATION,
LIVE_AGENT_REQUEST_UNFULFILLED,
LIVE_AGENT_CONVERSATION,
CALL_INITIATED
has_agent_response Sesja ma co najmniej 1 odpowiedź od agenta. TRUE,
FALSE
has_live_agent_response Sesja ma co najmniej 1 odpowiedź od pracownika obsługi klienta. TRUE,
FALSE
has_live_agent_request Sesja zawiera co najmniej 1 żądanie agenta na żywo. TRUE,
FALSE
session_depth_bucket Liczba wiadomości wymienionych podczas sesji. 1,
2-3,
4-9,
10-24,
25-
survey_sent Jeśli na potrzeby tej sesji została wysłana ankieta. TRUE,
FALSE
survey_responded Informacje o tym, czy użytkownik odpowiedział na ankietę. TRUE,
FALSE
positive_survey_response Czy odpowiedź w ankiecie ma pozytywną ocenę. Ma znaczenie tylko wtedy, gdy survey_responded ma wartość TRUE. TRUE,
FALSE
total_sessions Łączna liczba sesji. 1000
average_session_depth Średnia liczba wiadomości wymienionych w trakcie sesji. 23.11

Dane dotyczące jakości

Dane dotyczące jakości są określane na podstawie łącznej liczby zakończonych sesji w danym dniu. Do tych danych należą:

Dane Definicja Przykładowe wartości
date_calculated Dzień (w czasie UTC) wskazujący, kiedy dane zostały obliczone. 2021-12-31
Zobacz typ daty w BigQuery.
state Bieżący stan agenta. GOOD_STANDING,
REQUIRES_ATTENTION
survey_count Liczba ankiet używanych do obliczania wyniku ankiety. Jeśli w ciągu ostatnich 7 dni było mniej niż 10 odpowiedzi, używane są najnowsze ankiety (maksymalnie 9) z ostatnich 35 dni. W przeciwnym razie uwzględniane są wszystkie odpowiedzi z ostatnich 7 dni. 84
survey_score Odsetek pozytywnych odpowiedzi na pytania ankiety. Zakres od 0 do 1.
session_count Liczba sesji używanych do obliczenia MRR. Jeśli w ciągu ostatnich 7 dni były mniej niż 3 sesje, używane są najnowsze sesje (maksymalnie 9) z ostatnich 35 dni. W przeciwnym razie wykorzystywane są wszystkie sesje z ostatnich 7 dni. 143
mrr Odsetek odpowiedzi sprzedawców. Liczba sesji z odpowiedziami agenta (bota lub agenta na żywo) w stosunku do łącznej liczby sesji. Zakres od 0 do 1.
hmrr Odsetek odpowiedzi sprzedawców. Liczba sesji z odpowiedziami agenta na żywo w stosunku do łącznej liczby sesji, które zawierały co najmniej 1 żądanie na żywo agenta lub 1 odpowiedź agenta na żywo. Zakres od 0 do 1.
live_agent_request_count Liczba żądań pracownika obsługi klienta używanych do obliczenia wartości hmrr. Jeśli w ciągu ostatnich 7 dni było mniej niż 10 aktywnych żądań agenta, używane jest 9 najnowszych żądań agenta na żywo z ostatnich 35 dni. W przeciwnym razie wykorzystywane są wszystkie żądania agenta z ostatnich 7 dni. 42
suspension_date Dzień (UTC), w którym agent może zostać zawieszony z powodu niskiej jakości. Stosowane tylko dla agentów o stanie „REQUIRES_ATTENTION”. 2021-12-31
Zobacz typ daty w BigQuery.

Dane dotyczące zamiarów

Dane dotyczące intencji korzystają z systemów uczących się do identyfikowania intencji sesji z agentem. Dane dotyczące zamiarów są pobierane z wiadomości do użytkownika w zakończonych sesjach w danym dniu. Tylko w języku angielskim. Do tych danych należą:

Dane Definicja Przykładowe wartości
intent Typ intencji sesji. SALES_LEAD,
SERVICE
count Liczba sesji określonego typu intent. 11

Śledzenie danych niestandardowych

Jeśli masz inne preferencje dotyczące danych lub potrzebujesz bardziej szczegółowych informacji niż dostępne w raporcie jakości, możesz rejestrować własne dane.

Możesz rejestrować takie dane:

  • Zadowolenie klienta. Wysyłaj ankiety, aby rejestrować i śledzić satysfakcję użytkowników. Pytania w ankiecie możesz dostosować do swoich wymagań dotyczących gromadzenia danych.
  • Wiadomości zostały wysłane. Rejestruj szczegóły za każdym razem, gdy pracownik obsługi klienta wysyła wiadomość.
  • Otrzymane wiadomości. Rejestruj szczegóły za każdym razem, gdy pracownik obsługi klienta otrzyma wiadomość.
  • Odsetki pracowników obsługi klienta. Sprawdzaj, jak często agent reaguje na wiadomości użytkownika. Śledzenie różnic między odsetkiem odpowiedzi bota i agenta na żywo.
  • Czas odpowiedzi pracownika obsługi klienta. Zapisuj, ile czasu zajmuje agentowi odpowiadanie na wiadomości użytkownika. Śledzenie różnic między czasem odpowiedzi bota i agenta na żywo.
  • Potwierdzenia dostarczenia. Nagraj zdarzenia DELIVERED.
  • Potwierdzenia odbioru Nagraj zdarzenia READ.
  • Zaangażowanie użytkowników. Rejestruj zdarzenia IS_TYPING, liczbę odpowiedzi użytkowników oraz różnicę czasu między zdarzeniami DELIVERED lub READ a następującymi odpowiedziami użytkowników.

  • Typ interakcji. Określ, jak użytkownicy reagują na wiadomości. Korzystaj ze znaczących danych dotyczących wywołania zwrotnego do śledzenia sugerowanych odpowiedzi i działań oraz monitoruj formaty odpowiedzi w celu określenia, czy użytkownicy wysyłają obrazy czy zwykłe wiadomości tekstowe.

Po zebraniu danych możesz je analizować i porządkować w sposób najlepiej odpowiadający Twoim potrzebom biznesowym.

Monitorowanie wydajności i progi zawieszenia

Aby ocenić wydajność agentów, Business Messages śledzi wiele wskaźników, aby zapewnić wysoką jakość obsługi agentów. Jeśli wartość agenta spadnie poniżej progu danych, Business Messages powiadomi Cię o tym w cotygodniowych e-mailach z informacjami o stanie agenta. Jeśli klient nie osiągnie progu przez 28 dni, Business Messages może zawiesić agenta. Jeśli Twój agent jest zawieszony, zapoznaj się z artykułem Naprawianie zawieszonego agenta.

Business Messages korzysta z tych danych, aby śledzić wydajność agentów:

Dane Opis Próg głośności Normalny próg głośności Próg niskiego głośności
Zadowolenie klienta (CSAT) Wskaźnik zadowolenia klienta pokazuje ogólne wrażenia klienta po interakcji z agentem. 10 ankiet 80% 0%
Odsetek odpowiedzi sprzedawców (MRR) Liczba sesji z odpowiedziami agenta (bota lub agenta) w stosunku do łącznej liczby sesji. 3 sesje 95% 60%
Odsetek odpowiedzi sprzedawców (HMRR) Liczba sesji z odpowiedziami agenta na żywo w stosunku do łącznej liczby sesji, które zawierały co najmniej 1 żądanie na żywo agenta lub odpowiedzi na żywo agenta. 10 próśb o obsługę pracownika obsługi klienta 95% 0%

Głośność każdego wskaźnika jest mierzona na podstawie progu niezależnego ilości danych, powyżej lub poniżej progu, który określa, czy wydajność agenta można zmierzyć względem zwykłego progu ilościowego czy niskiego progu w przypadku tego wskaźnika.

Jeśli np. agent ma 9 ankiet, 10 sesji i 9 żądań na żywo, jego skuteczność jest mierzona jako próg równy 0 w przypadku CSAT, 95 dla MRR i 0 dla HMRR. Jeśli agent ma poniżej któregoś z tych progów, jest oznaczony jako „Wymaga uwagi”.

Jeśli agent będzie nadal w stanie „Wymaga uwagi” przez co najmniej 28 dni, może zostać zawieszony.

Popraw swoje dane

Jeśli wydajność agenta jest niska, upewnij się, że wykonuje on te czynności.

Przetwarzaj wiadomości i odpowiadaj na nie bez problemów technicznych

  • Upewnij się, że webhook otrzymuje, potwierdza, przetwarza i przekierowuje wszystkie wiadomości przychodzące niezależnie od ich typu lub treści.
  • Upewnij się, że agent ma skuteczną strategię awaryjnego na wypadek, gdyby w ładunku wiadomości brakuje wymaganego pola. Brakujące lub pomijane wiadomości dla użytkowników, ponieważ brakuje pola, co niekorzystnie wpływa na wrażenia użytkowników.
  • Sprawdź, czy agent wysłał wszystkie oczekiwane typy wiadomości.

Odpowiadaj rozważnie i z współczuciem

  • Odpowiadaj na każdą wiadomość. Automatyczne odpowiedzi ułatwiają odpowiadanie na typowe pytania.
  • Poznaj punkty wejścia w rozmowy użytkowników i odpowiadaj na nie. Na przykład użytkownicy Map Google są bardziej zainteresowani informacjami związanymi z konkretną lokalizacją, takimi jak godziny otwarcia czy informacje o dostępności.
  • W przypadku wiadomości związanych z lokalizacją pytania należy kierować do osób, które mogą na nie odpowiedzieć.
  • Jeśli aktywny agent jest niedostępny, użyj automatyzacji, aby odpowiedzieć użytkownikowi. Podaj godziny, w których Twój pracownik obsługi klienta będzie mógł się z Tobą skontaktować, i podaj, jak można się z kimś skontaktować (np. numer telefonu do zespołu pomocy).

Pomagaj

  • Użyj wiadomości powitalnej, która jest napisana przyjaznym i przyjaznym tonem, aby określić, czego może oczekiwać agent.
  • Korzystaj z funkcji rozpoczynania rozmowy, aby prowadzić użytkowników przez typowe lub automatyczne zadania.
  • Jeśli użytkownik zadaje pytanie, na które agent nie potrafi odpowiedzieć, podaj mu wskazówki na temat tego, na jakie pytania może odpowiedzieć.

Ostrożnie obchodź się z danymi

  • W miarę możliwości zbieraj dane o lokalizacji i inne dane z otrzymanych wiadomości, zamiast prosić o nie.
  • Nie proś o informacje poufne (dane logowania, dane konta bankowego/kredytowego, osobiste numery identyfikacyjne)
  • Proś o dostęp do danych tylko wtedy, gdy jest to konieczne. Nadmierny zasięg danych negatywnie wpływa na wrażenia użytkowników.
  • Gdy potrzebujesz danych, jasno wyjaśnij, dlaczego i jak będziesz ich używać.

Działa asynchronicznie

  • Nie oznaczaj wątków jako nieaktywnych. Komunikacja za pośrednictwem Wiadomości biznesowych odbywa się asynchronicznie, więc użytkownicy mogą nie odpowiadać od razu.
  • Nie nawiązuj kontaktu z użytkownikami, którzy nie odpowiadają. Po opuszczeniu rozmowy użytkownicy zostają rozłączeni.

Dodatkowe wskazówki dotyczące osiągania wydajności agentów znajdziesz w wymaganiach i wytycznych.