Depois do lançamento, o Business Messages rastreia as principais métricas de desempenho do agente. É possível acessar as métricas pelo Console para desenvolvedores de comunicações empresariais ou pelo BigQuery.
Se você precisar de outras análises para avaliar o sucesso do seu agente, acompanhe métricas personalizadas monitorando eventos e outros atributos das conversas do agente.
Acessar suas métricas
É possível acessar métricas no nível do parceiro e do agente em um relatório do Data Studio por meio do Console para desenvolvedores do Business Communications. Também é possível usar o BigQuery para navegar ou acessar programaticamente as métricas do agente.
Para dar acesso às métricas a outros usuários,
- Adicione-as como usuários à sua conta de parceiro.
- Explique como acessar as métricas por meio do Console para desenvolvedores do Business Communications ou do BigQuery.
Métricas no nível do parceiro
As métricas no nível do parceiro exibem dados de todos os agentes que você gerencia.
- Abra o console para desenvolvedores do Business Communications e faça login com sua Conta do Google do Business Messages.
- Na parte de baixo do card Painel de métricas, clique em Ver métricas.
Métricas no nível do agente
As métricas no nível do agente mostram apenas os dados do agente selecionado.
- Abra o console para desenvolvedores do Business Communications e faça login com sua Conta do Google do Business Messages.
Escolha seu agente.
As métricas aparecem no card Painel de métricas.
Para ver métricas mais detalhadas, clique em Analytics no painel de navegação à esquerda.
Métricas por meio do BigQuery
O BigQuery é um armazenamento de dados sem servidor, escalonável e econômico com machine learning, fácil acesso a dados e análise preditiva. É possível acessar os dados no BigQuery usando a IU ou a API BigQuery, dependendo do caso de uso. Consulte a documentação do BigQuery.
Os dados de métricas no BigQuery ficam disponíveis por 1,5 ano.
Para acessar as métricas do agente no BigQuery, você precisa atender aos seguintes requisitos:
- Acesso ao Google Cloud Platform. Se você é um administrador, saiba como ativar o GCP para sua organização.
- Acesso ao BigQuery. Saiba como acessar o BigQuery.
- Um projeto com configuração de faturamento no BigQuery. Saiba como configurar o faturamento do Google Cloud. Se você não tiver um projeto com configuração de faturamento, poderá trabalhar com dados do BigQuery em um ambiente de teste. Aprenda a testar o BigQuery.
Quando tiver acesso ao BigQuery, será possível acessar os dados do agente no seguinte projeto, conjuntos de dados e visualizações:
- Project ID:
bizcomms-bm-metrics - Conjuntos de dados:
partner_metrics_user_viewsepartner_metrics_sa_views - Visualizações:
message_metrics,session_metrics,quality_metricseintent_metrics
Por exemplo, para ver todos os campos da visualização message_metrics, você pode usar a seguinte consulta:
SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics
Métricas disponíveis
O Business Messages acompanha métricas em quatro categorias: Mensagem, Sessão, Qualidade e Intent.
Os itens a seguir são comuns em todas as categorias de métricas:
| Métrica | Definição | Exemplo de valores |
|---|---|---|
date |
O dia (UTC) em que a sessão foi criada. |
2021-12-31Consulte Tipo de data do BigQuery. |
agent_id |
O ID do agente com as informações da sessão que estão sendo calculadas. |
12345678-9012-3456-789012345678
|
agent_name |
O nome do agente. |
Growing Tree Bank
|
brand_id |
O ID da marca a que o agente pertence. |
12345678-9012-3456-789012345678
|
brand_name |
O nome da marca a que o agente pertence. |
Growing Tree International
|
partner_id |
É o ID do parceiro que representa a marca. |
12345678-9012-3456-789012345678
|
partner_name |
É o nome do parceiro que representa a marca. |
XYZ Messaging
|
Métricas de mensagem
As métricas de mensagem são extraídas do número total de mensagens entregues em um determinado dia. As métricas incluem os seguintes itens:
| Métrica | Definição | Exemplo de valores |
|---|---|---|
message_sender |
Quem enviou a mensagem. |
USER,AGENT
|
message_type |
Tipo da mensagem. |
TEXT, , RICH_TEXT, PHOTO, RICH_CARD
|
representative_type |
Tipo do representante que enviou esta mensagem. Em branco para mensagens enviadas por usuários. |
BOT,HUMAN
|
total_messages |
Número total de mensagens entregues. |
11
|
Métricas de sessão
Uma sessão é um agrupamento de interações com tempo definido, como mensagens e eventos de uma conversa. Uma sessão começa quando uma mensagem é enviada e uma sessão não está ativa no momento. Uma sessão é encerrada quando
- não há mensagens durante 24 horas úteis (para agentes com disponibilidade de mensagens somente para humanos] (/business-communications/business-messages/guides/how-to/agents /availability). Se houver menos de 24 horas úteis nos próximos 7 dias, usaremos 24 horas.
- não houver mensagens por 30 minutos (para agentes com disponibilidade de mensagens somente para bots);
- você envia uma pesquisa a um usuário
- o usuário exclui a conversa.
- o usuário bloqueia o agente
As métricas de sessão são definidas com base no número total de sessões, ativas e concluídas em um determinado dia. As métricas incluem os seguintes itens:
| Métrica | Definição | Exemplo de valores |
|---|---|---|
session_initiator |
Quem iniciou a sessão. |
USER,AGENT
|
session_initiating_entry_point |
O ponto de entrada que iniciou a sessão. | Consulte EntryPoint. |
session_containment_type |
Os tipos de interações representativas na conversa, que variam de nenhuma mensagem representativa, apenas mensagens de bot, mensagens de agentes ao vivo. |
UNRESPONDED, , BOT_ONLY_CONVERSATION, , LIVE_AGENT_REQUEST_UNFULFILLED, , LIVE_AGENT_CONVERSATION, CALL_INITIATED
|
has_agent_response |
A sessão tem pelo menos uma resposta do agente. |
TRUE,FALSE
|
has_live_agent_response |
A sessão tem pelo menos uma resposta de um agente em tempo real. |
TRUE,FALSE
|
has_live_agent_request |
A sessão tem pelo menos uma solicitação de agente em tempo real. |
TRUE,FALSE
|
session_depth_bucket |
Quantas mensagens foram trocadas durante as sessões. |
1, , 2-3, , 4-9, , 10-24, 25-
|
survey_sent |
Se uma pesquisa foi enviada para esta sessão. |
TRUE,FALSE
|
survey_responded |
Se o usuário respondeu à pesquisa. |
TRUE,FALSE
|
positive_survey_response |
Se a resposta à pesquisa tiver uma classificação positiva. Só é significativo quando
survey_responded é TRUE. |
TRUE,FALSE
|
total_sessions |
Número total de sessões. |
1000
|
average_session_depth |
Número médio de mensagens trocadas durante as sessões. |
23.11
|
Métricas de qualidade
As métricas de qualidade são estimadas com base no número total de sessões concluídas em um determinado dia. As métricas incluem os seguintes itens:
| Métrica | Definição | Exemplo de valores |
|---|---|---|
date_calculated |
O dia (UTC) que indica quando as métricas foram calculadas. |
2021-12-31Consulte Tipo de data do BigQuery. |
state |
Estado atual do agente. |
GOOD_STANDING,REQUIRES_ATTENTION
|
survey_count |
Número de pesquisas usadas para calcular a pontuação da pesquisa. Se houver menos de 10 respostas nos últimos 7 dias, serão usadas as pesquisas mais recentes (no máximo 9) dos últimos 35 dias. Caso contrário, todas as respostas da pesquisa dos últimos sete dias serão usadas. |
84
|
survey_score |
Porcentagem de respostas positivas à pesquisa. |
Varia de 0 a 1.
|
session_count |
Número de sessões usadas para calcular a MRR. Se houve menos de 3 sessões nos últimos 7 dias, as sessões mais recentes (máximo de 9) dos últimos 35 dias são usadas. Caso contrário, todas as sessões dos últimos 7 dias serão usadas. |
143
|
mrr |
Taxa de resposta do comerciante (MRR, na sigla em inglês). O número de sessões que tiveram respostas de agentes (bot ou agente em tempo real) em relação ao número total de sessões. |
Varia de 0 a 1.
|
hmrr |
Taxa de resposta de comerciantes humanos (HMRR, na sigla em inglês): O número de sessões com respostas de agentes ao vivo em relação ao número total de sessões com uma ou mais solicitações ou respostas de agentes. |
Varia de 0 a 1.
|
live_agent_request_count |
Número de solicitações de agentes em tempo real usadas para calcular hmrr. Se
houver menos de 10 solicitações de atendentes ativos nos últimos 7 dias, serão usadas as 9 solicitações mais recentes dos últimos 35 dias.
Caso contrário, todas as solicitações de agentes ativos dos últimos sete dias serão usadas. |
42
|
suspension_date |
O dia (UTC) em que o agente pode ser suspenso por baixa qualidade. Definido apenas para agentes com o estado "REQUIRES_ATTENTION". |
2021-12-31Consulte Tipo de data do BigQuery. |
Métricas de intent
As métricas de intent usam o aprendizado de máquina para identificar a intenção das sessões com seu agente. As métricas de intent são extraídas de mensagens do usuário em sessões concluídas para um determinado dia. Apenas em inglês. As métricas incluem os seguintes itens:
| Métrica | Definição | Exemplo de valores |
|---|---|---|
intent |
O tipo de intent de sessão. |
SALES_LEAD,SERVICE
|
count |
Contagem de sessões com o tipo intent especificado. |
11
|
Rastrear métricas personalizadas
Se você tiver preferências de métricas diferentes ou precisar de informações mais detalhadas do que as disponíveis no relatório de qualidade, capture seus próprios dados de métricas.
Aqui estão algumas métricas que você pode capturar:
- Satisfação do cliente. Envie pesquisas para capturar e acompanhar a satisfação dos usuários. É possível personalizar as perguntas da pesquisa para atender aos seus requisitos de coleta de dados.
- Mensagens enviadas. Capture detalhes sempre que o agente enviar uma mensagem.
- Mensagens recebidas. Capture detalhes sempre que o agente receber uma mensagem.
- Taxas de resposta do agente. Capture com que frequência o agente responde a mensagens do usuário. Acompanhe as diferenças entre as taxas de resposta de bots e agentes ao vivo.
- Tempos de resposta dos agentes: Capture quanto tempo o agente leva para responder às mensagens do usuário. Acompanhe as diferenças entre os tempos de resposta do bot e do agente em tempo real.
- Comprovantes de entrega. Capturar eventos
DELIVERED. - Confirmações de leitura. Capturar eventos
READ. - Engajamento do usuário. Capture eventos
IS_TYPING, o número de respostas do usuário e a diferença de horário entre os eventosDELIVEREDouREADe as seguintes respostas do usuário. Tipo de interação: Identifique como os usuários respondem às suas mensagens. Use dados de postback significativos para rastrear respostas e ações sugeridas e monitorar formatos de resposta para identificar se os usuários enviam imagens ou mensagens de texto simples.
Depois de capturar as métricas, é possível analisá-las e organizá-las da maneira mais adequada às suas necessidades de negócios.
Monitoramento do desempenho e limites de suspensão
Para avaliar o desempenho do agente, o Business Messages rastreia várias métricas para garantir que os agentes proporcionem uma boa experiência ao usuário. Se um agente estiver abaixo de um limite de métricas, o Business Messages avisa você por e-mail semanal de status. Se um agente permanecer abaixo do limite por 28 dias, o Business Messages poderá suspendê-lo. Se o agente estiver suspenso, consulte Corrigir um agente suspenso.
O Business Messages usa as seguintes métricas para rastrear o desempenho do agente:
| Métrica | Descrição | Limite de volume | Limite de volume normal | Limite de baixo volume |
|---|---|---|---|---|
| Satisfação do cliente (CSAT) | A pontuação de satisfação do cliente indica a experiência geral que o cliente teve após interagir com um agente. | 10 pesquisas | 80% | 0% |
| Taxa de resposta do comerciante (MRR) | O número de sessões com respostas de agentes (bot ou agente em tempo real) em relação ao número total de sessões. | 3 sessões | 95% | 60% |
| Taxa de resposta de comerciantes humanos (HMRR) | Número de sessões com respostas de agentes ao vivo em relação ao número total de sessões com uma ou mais solicitações ou respostas de agentes ao vivo | 10 solicitações de atendentes | 95% | 0% |
O volume de cada métrica é medido em relação a um limite de volume de métrica independente, acima ou abaixo do qual, determina se o desempenho do agente pode ser medido em relação aos limites de volume normal ou baixo para essa métrica.
Por exemplo, se um agente tem 9 pesquisas, 10 sessões e 9 solicitações de agente ao vivo, o desempenho dele é medido em relação a um limite de 0 para CSAT, 95 para MRR e 0 para HMRR. Se o agente estiver abaixo de qualquer um desses limites, ele será marcado no estado "Requer atenção".
Se o agente continuar no estado "Requer atenção" por 28 dias ou mais, ele poderá ser suspenso.
Melhorar suas métricas
Se o desempenho do agente estiver baixo, verifique se ele faz o seguinte.
Processe e responda a mensagens sem problemas técnicos
- Confirme se o webhook recebe, confirma, processa e encaminha todas as mensagens recebidas, independentemente do tipo ou conteúdo da mensagem.
- Verifique se o agente tem uma estratégia substituta efetiva caso um campo obrigatório esteja ausente de um payload de mensagem. A falta ou perda de mensagens do usuário porque um campo está ausente resulta em uma experiência ruim para o usuário.
- Confirme se o agente envia todos os tipos de mensagens esperados.
Responda de maneira inteligente e compaixão
- Responda a todas as mensagens. As respostas automáticas podem ajudar você a responder perguntas comuns.
- Esteja ciente dos pontos de entrada das conversas dos usuários e responda de acordo. Por exemplo, os usuários do Google Maps têm mais interesse em informações específicas do local, como horário de funcionamento e verificações de estoque.
- Para mensagens com base na localização, encaminhe as perguntas para as pessoas mais adequadas para respondê-las.
- Se não houver um atendente disponível, use a automação para responder ao usuário. Informe o horário de atendimento do seu agente e de que outra forma ele pode entrar em contato com alguém (por exemplo, um número de telefone para suporte).
Fornecer orientações
- Use uma mensagem de boas-vindas (em inglês), escrita em tom amigável e acolhedor, para definir as expectativas sobre o que o agente pode fazer.
- Use iniciativas de conversa para orientar os usuários em tarefas comuns ou automatizadas.
- Se um usuário fizer uma pergunta que seu agente não consegue responder, responda com orientações sobre os tipos de perguntas que ele pode responder.
Processar os dados com cuidado
- Sempre que possível, colete a localização e outros dados das mensagens recebidas em vez de solicitá-las.
- Não solicite informações confidenciais (credenciais de login, detalhes bancários/de crédito, números de identificação pessoal)
- Só peça dados quando forem necessários. O excesso de dados cria uma experiência ruim para o usuário.
- Quando você precisar de dados, seja claro sobre o motivo e a forma como os usará.
Comportar-se de forma assíncrona
- Não marcar conversas como inativas. As comunicações por mensagens comerciais são síncronas, portanto, os usuários podem não responder imediatamente.
- Não faça o acompanhamento de usuários que não respondem. Os usuários não são desconectados depois de sair da conversa.
Para saber mais sobre como alcançar o desempenho do agente, consulte os requisitos e diretrizes.