मेट्रिक की मदद से एजेंट की परफ़ॉर्मेंस पर नज़र रखें

लॉन्च होने के बाद, Business Messages आपके एजेंट के लिए, परफ़ॉर्मेंस की अहम मेट्रिक को ट्रैक करता है. अपनी मेट्रिक ऐक्सेस करने के लिए, बिज़नेस कम्यूनिकेशन डेवलपर कंसोल या BigQuery का इस्तेमाल करें.

अगर आपको अपने एजेंट की सफलता का आकलन करने के लिए कुछ और आंकड़ों की ज़रूरत है, तो इवेंट और एजेंट की बातचीत के दूसरे एट्रिब्यूट की निगरानी करके कस्टम मेट्रिक ट्रैक करें.

अपनी मेट्रिक ऐक्सेस करें

Business Communications डेवलपर कंसोल के ज़रिए, Data Studio की रिपोर्ट में पार्टनर-लेवल और एजेंट-लेवल की मेट्रिक ऐक्सेस की जा सकती हैं. इसके अलावा, अपने एजेंट की मेट्रिक को ब्राउज़ या प्रोग्राम के हिसाब से ऐक्सेस करने के लिए, BigQuery का इस्तेमाल किया जा सकता है.

अन्य उपयोगकर्ताओं को मेट्रिक का ऐक्सेस देने के लिए,

  1. अपने पार्टनर खाते में उन्हें उपयोगकर्ताओं के रूप में जोड़ें.
  2. उन्हें Business Communications डेवलपर कंसोल या BigQuery से मेट्रिक ऐक्सेस करने का तरीका बताएं.

पार्टनर-लेवल मेट्रिक

पार्टनर-लेवल की मेट्रिक में, उन सभी एजेंट का डेटा दिखता है जिन्हें मैनेज करने का अधिकार आपके पास है.

  1. Business Communications डेवलपर कंसोल खोलें और अपने Business Messages Google खाते से साइन इन करें.
  2. मेट्रिक डैशबोर्ड कार्ड में सबसे नीचे, मेट्रिक देखें पर क्लिक करें.

एजेंट-लेवल मेट्रिक

एजेंट-लेवल की मेट्रिक, सिर्फ़ चुने गए एजेंट का डेटा दिखाती हैं.

  1. Business Communications डेवलपर कंसोल खोलें और अपने Business Messages Google खाते से साइन इन करें.
  2. अपना एजेंट चुनें.

    मेट्रिक, मेट्रिक डैशबोर्ड कार्ड में दिखती हैं.

मेट्रिक की ज़्यादा जानकारी देखने के लिए, बाईं ओर मौजूद नेविगेशन में, Analytics पर क्लिक करें.

BigQuery के ज़रिए मिलने वाली मेट्रिक

BigQuery, बिना सर्वर वाला, स्केल किया जा सकने वाला, और किफ़ायती डेटा वेयरहाउस है. इसमें मशीन लर्निंग, डेटा को आसानी से ऐक्सेस करने, और आंकड़ों के बारे में अनुमान लगाने की सुविधा है. अपनी ज़रूरत के हिसाब से, BigQuery यूज़र इंटरफ़ेस (यूआई) या BigQuery API के ज़रिए BigQuery में डेटा ऐक्सेस किया जा सकता है. BigQuery दस्तावेज़ देखें.

BigQuery में मेट्रिक का डेटा 1.5 साल के लिए उपलब्ध रहता है.

BigQuery में एजेंट मेट्रिक ऐक्सेस करने के लिए, आपको ये ज़रूरी शर्तें पूरी करनी होंगी:

BigQuery का ऐक्सेस होने पर, अपने एजेंट का डेटा यहां दिए गए प्रोजेक्ट, डेटा सेट, और व्यू में ऐक्सेस किया जा सकता है:

  • प्रोजेक्ट आईडी: bizcomms-bm-metrics
  • डेटा सेट: partner_metrics_user_views और partner_metrics_sa_views
  • व्यू: message_metrics, session_metrics, quality_metrics, और intent_metrics

उदाहरण के लिए, message_metric व्यू के सभी फ़ील्ड देखने के लिए, नीचे दी गई क्वेरी का इस्तेमाल किया जा सकता है:

SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics

उपलब्ध मीट्रिक

Business Messages में चार कैटगरी की मेट्रिक ट्रैक की जाती हैं: मैसेज, सेशन, क्वालिटी, और इंटेंट.

मेट्रिक की कैटगरी में ये आइटम सामान्य हैं:

मेट्रिक परिभाषा सैंपल वैल्यू
date वह दिन (यूटीसी में) जब सेशन बनाया गया था. 2021-12-31
BigQuery की तारीख का टाइप देखें.
agent_id उस एजेंट का आईडी जिसके सेशन की जानकारी का हिसाब लगाया जा रहा है. 12345678-9012-3456-789012345678
agent_name एजेंट का नाम. Growing Tree Bank
brand_id उस ब्रैंड का आईडी जिससे एजेंट जुड़ा है. 12345678-9012-3456-789012345678
brand_name उस ब्रैंड का नाम जिससे एजेंट जुड़ा है. Growing Tree International
partner_id ब्रैंड की जानकारी देने वाले पार्टनर का आईडी. 12345678-9012-3456-789012345678
partner_name ब्रैंड का प्रतिनिधित्व करने वाले पार्टनर का नाम. XYZ Messaging

मैसेज की मेट्रिक

मैसेज की मेट्रिक, किसी खास दिन डिलीवर किए गए मैसेज की कुल संख्या से ली जाती है. इन मेट्रिक में ये आइटम शामिल होते हैं:

मेट्रिक परिभाषा सैंपल वैल्यू
message_sender मैसेज किसने भेजा है. USER,
AGENT
message_type मैसेज का टाइप. TEXT,
RICH_TEXT,
PHOTO,
RICH_CARD
representative_type उस प्रतिनिधि का टाइप जिसने यह मैसेज भेजा. उपयोगकर्ताओं के भेजे गए मैसेज के लिए खाली है. BOT,
HUMAN
total_messages डिलीवर किए गए मैसेज की कुल संख्या. 11

सेशन की मेट्रिक

सेशन, इंटरैक्शन का एक तय समय के मुताबिक ग्रुप होता है. जैसे, किसी बातचीत के मैसेज और इवेंट. एक सेशन तब शुरू होता है, जब कोई मैसेज भेजा जाता है और कोई सेशन अभी चालू नहीं होता. सेशन तब खत्म हो जाता है, जब

  • 24 कामकाजी घंटों के लिए कोई मैसेज नहीं है (सिर्फ़ ऐसे एजेंट जो सिर्फ़ लोगों के लिए मैसेज करने की सुविधा उपलब्ध कराते हैं] (/business-communications/business-messages/guides/how-to/agents /availability). अगर अगले 7 दिनों में < 24 कामकाजी घंटे हैं, तो हम इसके बजाय 24 घंटे का इस्तेमाल करेंगे.)
  • 30 मिनट तक कोई मैसेज नहीं है (सिर्फ़ बॉट के लिए मैसेज सेवा की उपलब्धता वाले एजेंट के लिए)
  • एक उपयोगकर्ता को सर्वे भेजता है,
  • उपयोगकर्ता बातचीत को मिटा देता है
  • उपयोगकर्ता, एजेंट को ब्लॉक करता है

सेशन मेट्रिक, किसी खास दिन के लिए, चालू और पूरे हो चुके सेशन की कुल संख्या से ली जाती हैं. इन मेट्रिक में ये आइटम शामिल होते हैं:

मेट्रिक परिभाषा सैंपल वैल्यू
session_initiator सेशन की शुरुआत किसने की. USER,
AGENT
session_initiating_entry_point वह एंट्री पॉइंट जिससे सेशन शुरू हुआ. EntryPoint देखें.
session_containment_type बातचीत में प्रतिनिधि के तौर पर किस तरह की बातचीत हुई. इस बातचीत में, कोई प्रतिनिधि वाला मैसेज नहीं था, सिर्फ़ बॉट मैसेज से लेकर लाइव एजेंट के मैसेज थे. UNRESPONDED,
BOT_ONLY_CONVERSATION,
LIVE_AGENT_REQUEST_UNFULFILLED,
LIVE_AGENT_CONVERSATION,
CALL_INITIATED
has_agent_response सेशन में एजेंट से मिला कम से कम एक जवाब मिला हो. TRUE,
FALSE
has_live_agent_response इस सेशन में, लाइव एजेंट से मिला कम से कम एक जवाब मिला हो. TRUE,
FALSE
has_live_agent_request इस सेशन में, लाइव एजेंट से जुड़ा कम से कम एक अनुरोध मिला है. TRUE,
FALSE
session_depth_bucket इस सेशन के दौरान कितने मैसेज भेजे गए. 1,
2-3,
4-9,
10-24,
25-
survey_sent अगर इस सेशन के लिए सर्वे भेजा गया था. TRUE,
FALSE
survey_responded अगर उपयोगकर्ता ने सर्वे का जवाब दिया है. TRUE,
FALSE
positive_survey_response अगर सर्वे के जवाब को अच्छी रेटिंग मिली है. सिर्फ़ तब फ़ायदेमंद होता है, जब survey_responded, TRUE हो. TRUE,
FALSE
total_sessions सेशन की कुल संख्या. 1000
average_session_depth सेशन के दौरान भेजे गए मैसेज की औसत संख्या. 23.11

क्वालिटी मेट्रिक

क्वालिटी मेट्रिक, किसी एक दिन के लिए पूरे हुए सेशन की कुल संख्या से ली जाती है. इन मेट्रिक में ये आइटम शामिल होते हैं:

मेट्रिक परिभाषा सैंपल वैल्यू
date_calculated वह दिन (यूटीसी में) जिससे पता चलता है कि मेट्रिक का हिसाब कब लगाया गया. 2021-12-31
BigQuery की तारीख का टाइप देखें.
state एजेंट की मौजूदा स्थिति. GOOD_STANDING,
REQUIRES_ATTENTION
survey_count सर्वे के स्कोर को कैलकुलेट करने के लिए, इस्तेमाल किए जाने वाले सर्वे की संख्या. अगर पिछले सात दिनों में 10 से कम सर्वे के जवाब मिले हैं, तो पिछले 35 दिनों में से सबसे हाल के सर्वे (ज़्यादा से ज़्यादा नौ) इस्तेमाल किए जाते हैं. ऐसा न होने पर, पिछले सात दिनों के सर्वे के सभी जवाबों का इस्तेमाल किया जाता है. 84
survey_score सर्वे में मिले पॉज़िटिव जवाबों का प्रतिशत. 0 से 1 तक की रेंज.
session_count एमआरआर कैलकुलेट करने के लिए इस्तेमाल किए जाने वाले सेशन की संख्या. अगर पिछले सात दिनों में तीन से कम सेशन हुए हैं, तो पिछले 35 दिनों में से सबसे हाल के सेशन (ज़्यादा से ज़्यादा नौ) इस्तेमाल किए जाते हैं. नहीं तो, पिछले सात दिनों के सभी सेशन इस्तेमाल किए जाएंगे. 143
mrr व्यापारी/कंपनी के जवाब की दर (एमआरआर). सेशन की कुल संख्या के मुकाबले, ऐसे सेशन की संख्या जिनमें एजेंट या लाइव एजेंट ने जवाब दिए. 0 से 1 तक की रेंज.
hmrr ह्यूमन मर्चेंट रिस्पॉन्स रेट (एचएमआरआर). लाइव एजेंट से मिले सेशन की संख्या और लाइव एजेंट के एक या उससे ज़्यादा अनुरोध वाले सेशन या लाइव एजेंट के जवाब वाले सेशन की कुल संख्या. 0 से 1 तक की रेंज.
live_agent_request_count hmrr का हिसाब लगाने के लिए, लाइव एजेंट के अनुरोधों की संख्या. अगर पिछले सात दिनों में लाइव एजेंट से जुड़े 10 से कम अनुरोध मिले हैं, तो पिछले 35 दिनों में लाइव एजेंट से जुड़े नौ सबसे हाल के अनुरोध इस्तेमाल किए जाते हैं. अगर ऐसा नहीं है, तो पिछले सात दिनों में किए गए सभी लाइव एजेंट अनुरोधों का इस्तेमाल किया जाता है. 42
suspension_date वह दिन (यूटीसी में) जब खराब क्वालिटी की वजह से एजेंट को निलंबित किया जा सकता है. सिर्फ़ `REQUIRES_ATTENTION` की स्थिति वाले एजेंट के लिए सेट करें. 2021-12-31
BigQuery की तारीख का टाइप देखें.

इंटेंट मेट्रिक

इंटेंट मेट्रिक, आपके एजेंट के साथ सेशन के इंटेंट का पता लगाने के लिए, मशीन लर्निंग का इस्तेमाल करती हैं. इंटेंट मेट्रिक, किसी खास दिन के लिए पूरे हो चुके सेशन के उपयोगकर्ता मैसेज से लिए जाते हैं. सिर्फ़ अंग्रेज़ी. इन मेट्रिक में ये आइटम शामिल होते हैं:

मेट्रिक परिभाषा सैंपल वैल्यू
intent सेशन के इंटेंट का टाइप. SALES_LEAD,
SERVICE
count बताए गए intent टाइप वाले सेशन की संख्या. 11

कस्टम मेट्रिक ट्रैक करें

अगर आपकी मेट्रिक की प्राथमिकताएं अलग-अलग हैं या आपको क्वालिटी रिपोर्ट में मौजूद ज़्यादा जानकारी की ज़रूरत है, तो अपने मेट्रिक डेटा को कैप्चर किया जा सकता है.

यहां कुछ मेट्रिक दी गई हैं, जिन्हें कैप्चर किया जा सकता है:

  • ग्राहक की संतुष्टि. उपयोगकर्ता को अच्छा अनुभव देने के लिए, सर्वे भेजें. सर्वे के सवालों को, डेटा कलेक्शन की ज़रूरी शर्तों के हिसाब से पसंद के मुताबिक बनाया जा सकता है.
  • मैसेज भेजे गए. जब भी आपका एजेंट मैसेज भेजेगा, तब उसकी जानकारी कैप्चर करें.
  • मैसेज मिले. जब भी आपके एजेंट को मैसेज मिलता है, उसकी जानकारी कैप्चर करें.
  • एजेंट के जवाब की दरें. कैप्चर करें कि आपका एजेंट, उपयोगकर्ता के मैसेज का कितनी बार जवाब देता है. बॉट और लाइव एजेंट से जवाब मिलने की दरों के बीच के फ़र्क़ को ट्रैक करें.
  • एजेंट से जवाब मिलने में लगने वाला समय. जानें कि उपयोगकर्ता के मैसेज का जवाब देने में, आपके एजेंट को कितना समय लगता है. बॉट और लाइव एजेंट से जवाब मिलने के समय के बीच अंतर ट्रैक करें.
  • डिलीवरी की रसीदें. DELIVERED इवेंट कैप्चर करें.
  • रसीदें पढ़ें. READ इवेंट कैप्चर करें.
  • उपयोगकर्ता का जुड़ाव. IS_TYPING इवेंट, उपयोगकर्ताओं के रिस्पॉन्स की संख्या, और DELIVERED या READ इवेंट के बीच के समय का अंतर और उपयोगकर्ता के इन रिस्पॉन्स को कैप्चर करें.
  • इंटरैक्शन प्रकार. जानें कि उपयोगकर्ता आपके मैसेज पर क्या जवाब देते हैं. सुझाए गए जवाबों और कार्रवाइयों को ट्रैक करने के लिए, सही पोस्टबैक डेटा का इस्तेमाल करें. साथ ही, जवाब देने के फ़ॉर्मैट पर नज़र रखें, ताकि यह पता लगाया जा सके कि उपयोगकर्ता इमेज या सामान्य टेक्स्ट मैसेज भेजते हैं या नहीं.

कैप्चर की गई मेट्रिक की मदद से, उन्हें अपने कारोबार की ज़रूरतों के मुताबिक पार्स और व्यवस्थित किया जा सकता है.

परफ़ॉर्मेंस पर निगरानी रखने और निलंबन के थ्रेशोल्ड

एजेंट की परफ़ॉर्मेंस का आकलन करने के लिए, Business Messages एक से ज़्यादा मेट्रिक को ट्रैक करता है. इससे यह पक्का किया जाता है कि एजेंट, उपयोगकर्ता को अच्छा अनुभव दे सकें. अगर कोई एजेंट, मेट्रिक की थ्रेशोल्ड से कम होता है, तो Business Messages आपको हर हफ़्ते मिलने वाले एजेंट की स्थिति से जुड़े ईमेल भेजकर चेतावनी देता है. अगर कोई एजेंट 28 दिनों तक थ्रेशोल्ड से कम बना रहता है, तो Business Messages एजेंट को निलंबित कर सकता है. अगर आपके एजेंट को निलंबित कर दिया गया है, तो निलंबित किए गए एजेंट को ठीक करें देखें.

एजेंट की परफ़ॉर्मेंस को ट्रैक करने के लिए, Business Messages इन मेट्रिक का इस्तेमाल करता है:

मेट्रिक ब्यौरा वॉल्यूम थ्रेशोल्ड सामान्य वॉल्यूम थ्रेशोल्ड कम वॉल्यूम थ्रेशोल्ड
ग्राहक संतुष्टि (CSAT) ग्राहक संतुष्टि स्कोर से पता चलता है कि किसी एजेंट से जुड़ने के बाद ग्राहक को कैसा अनुभव मिला. 10 सर्वे 80% 0%
मर्चेंट प्रतिक्रिया दर (एमआरआर) सेशन की कुल संख्या के मुकाबले, ऐसे सेशन की संख्या जिनमें बॉट या लाइव एजेंट ने एजेंट के जवाब दिए. 3 सत्र 95% 60%
व्यापारी/कंपनी/कारोबारी के जवाब की दर (एचएमआरआर) लाइव एजेंट से मिले जवाब या लाइव एजेंट के एक या उससे ज़्यादा अनुरोध वाले सेशन के मुकाबले, लाइव एजेंट से मिले सेशन की संख्या लाइव एजेंट के लिए 10 अनुरोध 95% 0%

हर मेट्रिक के वॉल्यूम को अलग-अलग मेट्रिक वॉल्यूम के थ्रेशोल्ड के हिसाब से मापा जाता है. इससे ऊपर या कम होने पर, यह तय होता है कि एजेंट की परफ़ॉर्मेंस को उस मेट्रिक के वॉल्यूम के सामान्य थ्रेशोल्ड या कम वॉल्यूम के थ्रेशोल्ड के तौर पर मेज़र किया जा सकता है या नहीं.

उदाहरण के लिए, अगर किसी एजेंट ने 9 सर्वे, 10 सेशन, और 9 लाइव एजेंट के अनुरोध किए हैं, तो उसकी परफ़ॉर्मेंस को मेज़र किया जाएगा. इसके लिए, सीएसएटी के लिए 0, एमआरआर के लिए 95, और एचएमआरआर के लिए 0 तय किया जाएगा. अगर एजेंट इनमें से किसी भी थ्रेशोल्ड से कम है, तो उसे 'इस पर ध्यान देने की ज़रूरत है' स्थिति के तौर पर मार्क किया जाता है.

अगर एजेंट 28 या उससे ज़्यादा दिनों तक 'ध्यान देने की ज़रूरत है' स्थिति में रहता है, तो उसे निलंबित किया जा सकता है.

अपनी मेट्रिक को बेहतर बनाएं

अगर आपके एजेंट की परफ़ॉर्मेंस खराब है, तो देख लें कि आपका एजेंट ये काम करे.

बिना किसी तकनीकी समस्या के मैसेज प्रोसेस करें और उनका जवाब दें

  • पक्का करें कि आपका वेबहुक, आने वाले सभी मैसेज पाने, उन्हें स्वीकार करता है, प्रोसेस करता है, और उन्हें रूट करता है. इस बात से कोई फ़र्क़ नहीं पड़ता कि मैसेज किस तरह का है या किस तरह का है.
  • पक्का करें कि मैसेज पेलोड में ज़रूरी फ़ील्ड मौजूद न होने पर, आपके एजेंट के पास फ़ॉलबैक की असरदार रणनीति मौजूद है. उपयोगकर्ता के मैसेज मौजूद न होने या छोड़ने की वजह से, फ़ील्ड के उपलब्ध न होने की वजह से उपयोगकर्ता का अनुभव खराब होता है.
  • इस बात की पुष्टि करें कि आपका एजेंट सभी तरह के मैसेज भेजता है.

समझदारी और प्यार से जवाब दें

  • हर मैसेज का जवाब दें. अपने-आप भेजे जाने वाले जवाब, सामान्य सवालों के जवाब देने में आपकी मदद कर सकते हैं.
  • लोगों के बातचीत के एंट्री पॉइंट को ध्यान में रखते हुए जवाब दें. उदाहरण के लिए, Google Maps से आने वाले उपयोगकर्ता, कारोबार के खुले होने का समय और स्टॉक की जांच जैसी जगह की खास जानकारी में ज़्यादा दिलचस्पी दिखा सकते हैं.
  • जगह के हिसाब से भेजे जाने वाले मैसेज के लिए, लोगों को सवालों के जवाब देने के लिए सबसे सही विकल्प दें.
  • अगर कोई लाइव एजेंट उपलब्ध नहीं है, तो उपयोगकर्ता को जवाब देने के लिए ऑटोमेशन का इस्तेमाल करें. एजेंट को अपने एजेंट के चैट के घंटे की जानकारी दें. साथ ही, यह भी बताएं कि वह किसी व्यक्ति से कैसे संपर्क कर सकता है. जैसे, सहायता के लिए फ़ोन नंबर.

दिशा-निर्देश दें

  • आपका एजेंट क्या कर सकता है, यह बताने के लिए, दोस्ताना अंदाज़ में लिखे गए वेलकम मैसेज का इस्तेमाल करें.
  • बातचीत स्टार्टर का इस्तेमाल करके, लोगों को सामान्य या अपने-आप होने वाले कामों में मदद करें.
  • अगर कोई उपयोगकर्ता ऐसा सवाल पूछता है जिसे आपका एजेंट हैंडल नहीं कर पाता, तो निर्देशों के साथ जवाब दें कि वह किस तरह के सवालों के जवाब दे सकता है.

डेटा को सावधानी से इस्तेमाल करें

  • जब भी मुमकिन हो, सवाल के बजाय आपको मिलने वाले मैसेज से जगह की जानकारी और अन्य डेटा इकट्ठा करें.
  • संवेदनशील जानकारी न मांगें. जैसे, क्रेडेंशियल, बैंक/क्रेडिट की जानकारी, निजी पहचान नंबर
  • डेटा सिर्फ़ तब ही मांगें, जब ज़रूरत हो. डेटा लीक होने से उपयोगकर्ता का अनुभव खराब होता है.
  • डेटा की ज़रूरत होने पर, यह साफ़ तौर पर बताएं कि इसे क्यों और कैसे इस्तेमाल करना है.

एसिंक्रोनस रूप से व्यवहार करें

  • बातचीत पर 'बंद है' का निशान न लगाएं. Business Profile पर होने वाली कम्यूनिकेशन मैसेज की सुविधा, एसिंक्रोनस होती है. इसलिए, हो सकता है कि उपयोगकर्ता तुरंत जवाब न दे.
  • जवाब न देने वाले उपयोगकर्ताओं के बारे में फ़ॉलो अप न करें. बातचीत के बाद, उपयोगकर्ताओं को डिसकनेक्ट नहीं किया जाता.

एजेंट की परफ़ॉर्मेंस हासिल करने के बारे में ज़्यादा जानकारी के लिए, ज़रूरी शर्तें और दिशा-निर्देश देखें.