ตรวจสอบประสิทธิภาพของตัวแทนด้วยเมตริก

หลังจากเปิดตัวแล้ว Business Messages จะติดตามเมตริกประสิทธิภาพที่สำคัญสำหรับตัวแทนของคุณ คุณสามารถเข้าถึงเมตริกผ่านคอนโซลของนักพัฒนาซอฟต์แวร์สำหรับการสื่อสารทางธุรกิจหรือ BigQuery

หากต้องการข้อมูลวิเคราะห์เพิ่มเติมเพื่อวัดความสำเร็จของ Agent ให้ติดตามเมตริกที่กำหนดเองโดยการตรวจสอบเหตุการณ์และแอตทริบิวต์อื่นๆ ของการสนทนากับ Agent

เข้าถึงเมตริก

คุณเข้าถึงเมตริกระดับพาร์ทเนอร์และระดับตัวแทนได้ในรายงาน Data Studio ผ่านคอนโซลของนักพัฒนาซอฟต์แวร์ Business Communications หรือจะใช้ BigQuery เพื่อเรียกดูหรือเข้าถึงเมตริก Agent โดยใช้โปรแกรมก็ได้

หากต้องการให้สิทธิ์เข้าถึงเมตริกแก่ผู้ใช้รายอื่น

  1. เพิ่มคนเหล่านั้นเป็นผู้ใช้ ในบัญชีพาร์ทเนอร์ของคุณ
  2. แนะนำวิธีเข้าถึงเมตริกผ่านคอนโซลนักพัฒนาแอป สำหรับการสื่อสารทางธุรกิจหรือ BigQuery

เมตริกระดับพาร์ทเนอร์

เมตริกระดับพาร์ทเนอร์แสดงข้อมูลของตัวแทนทั้งหมดที่คุณจัดการ

  1. เปิดคอนโซลของนักพัฒนาซอฟต์แวร์สำหรับการสื่อสารทางธุรกิจ แล้วลงชื่อเข้าใช้ด้วยบัญชี Google ของ Business Messages
  2. คลิกดูเมตริกที่ด้านล่างของการ์ดแดชบอร์ดเมตริก

เมตริกระดับตัวแทน

เมตริกระดับตัวแทนจะแสดงข้อมูลของตัวแทนที่เลือกเท่านั้น

  1. เปิดคอนโซลของนักพัฒนาซอฟต์แวร์สำหรับการสื่อสารทางธุรกิจ แล้วลงชื่อเข้าใช้ด้วยบัญชี Google ของ Business Messages
  2. เลือกตัวแทน

    เมตริกจะปรากฏในการ์ดแดชบอร์ดเมตริก

หากต้องการดูเมตริกที่ละเอียดมากขึ้น ให้คลิก Analytics ในการนําทางด้านซ้าย

เมตริกผ่าน BigQuery

BigQuery คือคลังข้อมูลแบบ Serverless ที่คุ้มค่าและรองรับการปรับขนาด ซึ่งมาพร้อมแมชชีนเลิร์นนิง การเข้าถึงข้อมูลที่ง่ายดาย และการวิเคราะห์แบบคาดการณ์ คุณเข้าถึงข้อมูลใน BigQuery ได้ผ่าน BigQuery UI หรือ BigQuery API ขึ้นอยู่กับกรณีการใช้งาน ดูเอกสาร BigQuery

ข้อมูลเมตริกใน BigQuery จะใช้งานได้เป็นเวลา 1 ปีครึ่ง

คุณต้องมีคุณสมบัติตามข้อกำหนดต่อไปนี้จึงจะเข้าถึงเมตริก Agent ใน BigQuery ได้

เมื่อมีสิทธิ์เข้าถึง BigQuery คุณจะเข้าถึงข้อมูลของตัวแทนได้ในโปรเจ็กต์ ชุดข้อมูล และข้อมูลพร็อพเพอร์ตี้ต่อไปนี้

  • รหัสโปรเจ็กต์: bizcomms-bm-metrics
  • ชุดข้อมูล: partner_metrics_user_views และ partner_metrics_sa_views
  • ยอดดู: message_metrics, session_metrics, quality_metrics และ intent_metrics

ตัวอย่างเช่น หากต้องการดูช่องทั้งหมดจากมุมมอง message_metric คุณอาจใช้คำค้นหาต่อไปนี้

SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics

เมตริกที่พร้อมใช้งาน

Business Messages ติดตามเมตริกจาก 4 หมวดหมู่ ได้แก่ ข้อความ เซสชัน คุณภาพ และความตั้งใจ

รายการต่อไปนี้เป็นเมตริกเดียวกันในทุกหมวดหมู่เมตริก

เมตริก คำจำกัดความ ค่าตัวอย่าง
date วัน (ตามเวลา UTC) ที่สร้างเซสชัน 2021-12-31
ดู ประเภทวันที่ของ BigQuery
agent_id รหัสของตัวแทนที่กำลังคำนวณข้อมูลเซสชัน 12345678-9012-3456-789012345678
agent_name ชื่อของตัวแทน Growing Tree Bank
brand_id รหัสของแบรนด์ที่ตัวแทนเป็นสมาชิก 12345678-9012-3456-789012345678
brand_name ชื่อแบรนด์ที่ตัวแทนสังกัดอยู่ Growing Tree International
partner_id รหัสของพาร์ทเนอร์ที่สื่อถึงแบรนด์ 12345678-9012-3456-789012345678
partner_name ชื่อของพาร์ทเนอร์ที่สื่อถึงแบรนด์ XYZ Messaging

เมตริกข้อความ

ระบบนำเมตริกข้อความจากจำนวนข้อความที่ส่งแล้วทั้งหมดในวันหนึ่งๆ เมตริกเหล่านี้ประกอบด้วยรายการต่อไปนี้

เมตริก คำจำกัดความ ค่าตัวอย่าง
message_sender ใครเป็นผู้ส่งข้อความ USER
AGENT
message_type ประเภทของข้อความ TEXT,
RICH_TEXT,
PHOTO,
RICH_CARD
representative_type ประเภทของตัวแทนที่ส่งข้อความนี้ เว้นว่างสำหรับข้อความที่ส่งโดยผู้ใช้ BOT
HUMAN
total_messages จำนวนข้อความที่ส่งแล้วทั้งหมด 11

เมตริกเซสชัน

เซสชันคือการจัดกลุ่มการโต้ตอบที่มีกำหนดเวลา เช่น ข้อความและเหตุการณ์ในการสนทนา เซสชันจะเริ่มต้นเมื่อมีการส่งข้อความ แต่เซสชันไม่ได้ใช้งานอยู่ในปัจจุบัน เซสชันปิดเมื่อ

  • จะไม่มีข้อความในช่วงเวลา 24 ชั่วโมงทำการ (สำหรับตัวแทนที่พร้อมรับข้อความ สำหรับเจ้าหน้าที่เท่านั้น] (/business-communications/business-messages/guides/how-to/agents /availability) หากมีเวลาน้อยกว่า 24 ชั่วโมงใน 7 วันถัดไป เราจะใช้ 24 ชั่วโมงแทน)
  • ไม่มีข้อความในช่วงเวลา 30 นาที (สำหรับตัวแทนที่มีความพร้อมในการส่งข้อความเท่านั้น)
  • คุณส่งแบบสำรวจ ไปยังผู้ใช้
  • ผู้ใช้ลบการสนทนา
  • ผู้ใช้บล็อกตัวแทน

เมตริกเซสชันจะดึงจากจำนวนเซสชันทั้งหมด ทั้งที่ใช้งานอยู่และเสร็จสมบูรณ์แล้วในวันที่ระบุ เมตริกเหล่านี้ประกอบด้วยรายการต่อไปนี้

เมตริก คำจำกัดความ ค่าตัวอย่าง
session_initiator ผู้ที่เริ่มเซสชัน USER
AGENT
session_initiating_entry_point จุดแรกเข้าที่เริ่มต้นเซสชัน โปรดดู EntryPoint
session_containment_type ประเภทของการโต้ตอบแบบตัวแทนในการสนทนา ตั้งแต่ข้อความที่ไม่มีตัวแทนไปจนถึงข้อความจากบ็อตเพียงอย่างเดียวไปจนถึงข้อความตัวแทนแบบสด UNRESPONDED,
BOT_ONLY_CONVERSATION,
LIVE_AGENT_REQUEST_UNFULFILLED,
LIVE_AGENT_CONVERSATION,
CALL_INITIATED
has_agent_response เซสชันมีการตอบกลับอย่างน้อย 1 รายการจาก Agent TRUE
FALSE
has_live_agent_response เซสชันมีการตอบกลับอย่างน้อย 1 รายการจากตัวแทนแบบเรียลไทม์ TRUE
FALSE
has_live_agent_request เซสชันมีคำขอตัวแทนแบบเรียลไทม์อย่างน้อย 1 รายการ TRUE
FALSE
session_depth_bucket จำนวนข้อความที่รับส่งระหว่างเซสชัน 1,
2-3,
4-9,
10-24,
25-
survey_sent หากมีการส่งแบบสำรวจสำหรับเซสชันนี้ TRUE
FALSE
survey_responded หากผู้ใช้ตอบแบบสำรวจ TRUE
FALSE
positive_survey_response คำตอบในแบบสำรวจมีคะแนนเชิงบวกหรือไม่ มีความหมายเมื่อ survey_responded เป็น TRUE เท่านั้น TRUE
FALSE
total_sessions จำนวนเซสชันทั้งหมด 1000
average_session_depth จำนวนข้อความโดยเฉลี่ยที่รับส่งระหว่างเซสชัน 23.11

เมตริกคุณภาพ

เมตริกคุณภาพจะดึงมาจากจำนวนเซสชันที่เสร็จสมบูรณ์ทั้งหมดในวันหนึ่งๆ เมตริกเหล่านี้ประกอบด้วยรายการต่อไปนี้

เมตริก คำจำกัดความ ค่าตัวอย่าง
date_calculated วัน (ตามเขตเวลา UTC) ซึ่งระบุเวลาที่คํานวณเมตริก 2021-12-31
ดู ประเภทวันที่ของ BigQuery
state สถานะปัจจุบันของตัวแทน GOOD_STANDING
REQUIRES_ATTENTION
survey_count จำนวนแบบสำรวจที่ใช้คำนวณคะแนนของแบบสำรวจ หากมีการตอบแบบสำรวจน้อยกว่า 10 รายการในช่วง 7 วันที่ผ่านมา ระบบจะใช้แบบสำรวจล่าสุด (ไม่เกิน 9 รายการ) จาก 35 วันที่ผ่านมา มิเช่นนั้นระบบจะใช้คำตอบจากแบบสำรวจทั้งหมดในช่วง 7 วันที่ผ่านมา 84
survey_score เปอร์เซ็นต์ของการตอบแบบสำรวจเชิงบวก ค่าอยู่ในช่วงระหว่าง 0 ถึง 1
session_count จำนวนเซสชันที่ใช้คำนวณ MRR หากมีน้อยกว่า 3 เซสชันในช่วง 7 วันที่ผ่านมา ระบบจะใช้เซสชันล่าสุด (สูงสุด 9 เซสชัน) จาก 35 วันที่ผ่านมา มิเช่นนั้นระบบจะใช้เซสชันทั้งหมดในช่วง 7 วันที่ผ่านมา 143
mrr อัตราการตอบกลับของผู้ขาย (MRR) จำนวนเซสชันที่มีการตอบกลับของตัวแทน (บ็อตหรือตัวแทนแบบเรียลไทม์) ที่สัมพันธ์กับ จำนวนเซสชันทั้งหมด ค่าอยู่ในช่วงระหว่าง 0 ถึง 1
hmrr อัตราการตอบกลับของเจ้าหน้าที่ผู้ขาย (HMRR) จำนวนเซสชันที่มีการตอบกลับของ Agent แบบเรียลไทม์ซึ่งสัมพันธ์กับจำนวนเซสชันทั้งหมดที่มีคำขอ Agent แบบสดหรือการตอบกลับ Agent แบบสดอย่างน้อย 1 รายการ ค่าอยู่ในช่วงระหว่าง 0 ถึง 1
live_agent_request_count จำนวนคำขอ Agent แบบสดที่ใช้ในการคำนวณ hmrr หากมีคำขอจากตัวแทนแบบเรียลไทม์น้อยกว่า 10 รายการในช่วง 7 วันที่ผ่านมา ระบบจะใช้คำขอตัวแทนแบบเรียลไทม์ 9 รายการล่าสุดจากช่วง 35 วันที่ผ่านมา ไม่เช่นนั้นจะใช้คำขอจากตัวแทนแบบเรียลไทม์ทั้งหมดในช่วง 7 วันที่ผ่านมา 42
suspension_date วัน (ตามเวลา UTC) ที่ตัวแทนอาจถูกระงับเนื่องจากคุณภาพต่ำ ตั้งค่าให้ตัวแทนที่มีสถานะ "REQUIRES_ATTENTION" เท่านั้น 2021-12-31
ดู ประเภทวันที่ของ BigQuery

เมตริกความตั้งใจ

เมตริกความตั้งใจใช้แมชชีนเลิร์นนิงในการระบุความตั้งใจของเซสชันด้วยตัวแทน เมตริกความตั้งใจมาจากข้อความของผู้ใช้ในเซสชันที่สมบูรณ์ในวันที่ระบุ ภาษาอังกฤษเท่านั้น เมตริกเหล่านี้ประกอบด้วยรายการต่อไปนี้

เมตริก คำจำกัดความ ค่าตัวอย่าง
intent ประเภท Intent ของเซสชัน SALES_LEAD
SERVICE
count จำนวนเซสชันที่มีประเภท intent ที่ระบุ 11

ติดตามเมตริกที่กำหนดเอง

คุณบันทึกข้อมูลเมตริกของตัวเองได้หากตั้งค่ากำหนดเมตริกต่างกันหรือต้องการข้อมูลเชิงลึกมากกว่าที่มีในรายงานคุณภาพ

เมตริกบางส่วนที่คุณอาจนำไปใช้ได้มีดังนี้

  • ความพึงพอใจของลูกค้า ส่งแบบสำรวจเพื่อบันทึกและติดตามความพึงพอใจของผู้ใช้ คุณสามารถปรับแต่งคำถามในแบบสำรวจให้เหมาะกับความต้องการในการเก็บรวบรวมข้อมูลได้
  • ส่งข้อความแล้ว บันทึกรายละเอียดทุกครั้งที่ตัวแทน ส่งข้อความ
  • ข้อความที่ได้รับ บันทึกรายละเอียดทุกครั้งที่ตัวแทน ได้รับข้อความ
  • อัตราการตอบกลับของตัวแทน บันทึกความถี่ที่ตัวแทนตอบกลับข้อความของผู้ใช้ ติดตามความแตกต่างระหว่างอัตราการตอบกลับของบ็อตกับตัวแทนแบบเรียลไทม์
  • เวลาตอบกลับของตัวแทน บันทึกระยะเวลาที่ Agent ใช้ในการตอบข้อความของผู้ใช้ ติดตามความแตกต่างระหว่างเวลาตอบกลับของบ็อต และของตัวแทนแบบเรียลไทม์
  • การแจ้งเมื่อส่งถึง บันทึกเหตุการณ์ DELIVERED รายการ
  • ใบตอบรับการอ่าน บันทึกเหตุการณ์ READ รายการ
  • การมีส่วนร่วมของผู้ใช้ บันทึกเหตุการณ์ IS_TYPING, จำนวนการตอบกลับของผู้ใช้ และความแตกต่างของเวลาระหว่างเหตุการณ์ DELIVERED หรือ READ และการตอบกลับของผู้ใช้ต่อไปนี้
  • ประเภทการโต้ตอบ ระบุวิธีที่ผู้ใช้ตอบข้อความ ใช้ข้อมูลระบบรายงานผล Conversion ที่มีประโยชน์เพื่อติดตามการตอบกลับและการดำเนินการที่แนะนำ และตรวจสอบรูปแบบการตอบกลับเพื่อระบุว่าผู้ใช้ส่งรูปภาพหรือข้อความธรรมดาหรือไม่

เมื่อรวบรวมเมตริกแล้ว คุณจะแยกวิเคราะห์และจัดระเบียบเมตริกได้ตามความเหมาะสมกับความต้องการทางธุรกิจ

เกณฑ์การตรวจสอบประสิทธิภาพและการระงับ

ในการประเมินประสิทธิภาพของตัวแทน Business Messages จะติดตามเมตริกหลายรายการเพื่อให้มั่นใจว่าตัวแทนมอบประสบการณ์ของผู้ใช้ที่ดี หากตัวแทนมีคุณสมบัติต่ำกว่าเกณฑ์เมตริก Business Messages จะเตือนคุณทางอีเมลสถานะตัวแทนรายสัปดาห์ หากตัวแทนยังคงอยู่ต่ำกว่าเกณฑ์เป็นเวลา 28 วัน Business Messages อาจระงับตัวแทน หากตัวแทนถูกระงับ โปรดดูแก้ไขตัวแทนที่ถูกระงับ

Business Messages ใช้เมตริกต่อไปนี้เพื่อติดตามประสิทธิภาพของตัวแทน

เมตริก คำอธิบาย เกณฑ์ระดับเสียง เกณฑ์ระดับเสียงปกติ เกณฑ์ระดับเสียงต่ำ
ความพึงพอใจของลูกค้า (CSAT) คะแนนความพึงพอใจของลูกค้าบ่งชี้ถึงประสบการณ์โดยรวมที่ลูกค้าได้รับหลังจากติดต่อกับตัวแทน แบบสำรวจ 10 รายการ 80% 0%
อัตราการตอบกลับของผู้ขาย (MRR) จำนวนเซสชันที่มีการตอบกลับของตัวแทน (บ็อตหรือตัวแทนแบบเรียลไทม์) ที่สัมพัทธ์กับจำนวนเซสชันทั้งหมด 3 เซสชัน 95% 60%
อัตราการตอบกลับผู้ขายที่เป็นมนุษย์ (HMRR) จำนวนเซสชันที่มีการตอบกลับของ Agent แบบเรียลไทม์ซึ่งสัมพันธ์กับจำนวนเซสชันทั้งหมดที่มีคำขอจาก Agent แบบสดอย่างน้อย 1 รายการหรือการตอบกลับของ Agent แบบสด คำขอจากตัวแทนแบบเรียลไทม์ 10 รายการ 95% 0%

ปริมาณของเมตริกแต่ละรายการจะวัดตามเกณฑ์ปริมาณของเมตริกอิสระซึ่งสูงกว่าหรือต่ำกว่าค่านี้เป็นตัวกำหนดว่าจะวัดประสิทธิภาพของ Agent เทียบกับเกณฑ์ปริมาณปกติหรือเกณฑ์ปริมาณต่ำสำหรับเมตริกนั้นได้หรือไม่

เช่น หากตัวแทนมีแบบสำรวจ 9 รายการ เซสชัน 10 รายการ และคำขอตัวแทนแบบเรียลไทม์ 9 รายการ ระบบจะวัดประสิทธิภาพของตัวแทนโดยเทียบกับเกณฑ์ของ CSAT ที่ 0, 95 สำหรับ MRR และ 0 สำหรับ HMRR หากตัวแทนอยู่ต่ำกว่าเกณฑ์ข้างต้น ระบบจะทำเครื่องหมายตัวแทนนั้นในสถานะ "ต้องดำเนินการ"

หากตัวแทนยังคงอยู่ในสถานะ "ต้องดำเนินการ" เป็นเวลา 28 วันขึ้นไป ตัวแทนอาจถูกระงับ

ปรับปรุงเมตริกของคุณ

หากตัวแทนมีประสิทธิภาพต่ำ ให้ตรวจสอบว่าตัวแทนทำสิ่งต่อไปนี้

ประมวลผลและตอบกลับข้อความโดยไม่มีปัญหาทางเทคนิค

  • ยืนยันว่าเว็บฮุคได้รับ รับทราบ ประมวลผล และกำหนดเส้นทางข้อความขาเข้าทั้งหมด ไม่ว่าจะเป็นข้อความหรือเนื้อหาประเภทใด
  • ตรวจสอบว่า Agent ของคุณมีกลยุทธ์สำรองที่มีประสิทธิภาพในกรณีที่ช่องที่จำเป็นหายไปจากเพย์โหลดข้อความ ข้อความของผู้ใช้ที่หายไปหรือหายไปเนื่องจากช่องไม่มีข้อมูล ซึ่งทำให้ผู้ใช้ได้รับประสบการณ์การใช้งานที่ไม่ดี
  • ยืนยันว่าตัวแทนของคุณส่งประเภทข้อความที่คาดไว้ทั้งหมดได้สำเร็จ

ตอบอย่างชาญฉลาดและเห็นอกเห็นใจ

  • ตอบทุกข้อความ การตอบกลับอัตโนมัติสามารถช่วยคุณตอบคำถามที่พบบ่อยได้
  • คำนึงถึงจุดแรกเข้าในการสนทนาของผู้ใช้และตอบสนองตามนั้น ตัวอย่างเช่น ผู้ใช้ที่มาจาก Google Maps มีแนวโน้มที่จะสนใจข้อมูลที่เจาะจงสถานที่ตั้ง เช่น เวลาทำการและการตรวจสอบหุ้น
  • สำหรับข้อความตามตำแหน่ง ให้ส่งคำถามไปยังบุคคลที่เหมาะสมที่สุด ที่จะตอบกลับ
  • หากตัวแทนแบบเรียลไทม์ไม่พร้อมใช้งาน ให้ใช้การทำงานอัตโนมัติเพื่อตอบกลับผู้ใช้ แจ้งให้ตัวแทนทราบเวลาแชทของตัวแทนและวิธีอื่นๆ ที่พวกเขาอาจติดต่อผู้อื่นได้ (เช่น หมายเลขโทรศัพท์ของทีมสนับสนุน)

ให้คำแนะนำ

  • ใช้ข้อความต้อนรับที่เขียนด้วยน้ำเสียงที่เป็นมิตรและเป็นกันเอง เพื่อกำหนดความคาดหวังเกี่ยวกับสิ่งที่ตัวแทนทำได้
  • ใช้ข้อความเริ่มต้นการสนทนาเพื่อนำทางผู้ใช้ผ่านงานทั่วไปหรือแบบอัตโนมัติ
  • หากผู้ใช้ถามคำถามที่ตัวแทนจัดการไม่ได้ ให้ตอบกลับพร้อมคำแนะนำเกี่ยวกับประเภทคำถามที่ตัวแทนตอบไม่ได้

จัดการข้อมูลอย่างระมัดระวัง

  • หากเป็นไปได้ ให้รวบรวมข้อมูลตำแหน่งและข้อมูลอื่นๆ จากข้อความที่คุณได้รับ โดยไม่ต้องขอ
  • อย่าขอข้อมูลที่ละเอียดอ่อน (ข้อมูลเข้าสู่ระบบ รายละเอียดธนาคาร/เครดิต หมายเลขประจำตัวส่วนบุคคล)
  • ขอข้อมูลเมื่อจำเป็นเท่านั้น การเข้าถึงข้อมูลมากเกินไป ทำให้ผู้ใช้ได้รับประสบการณ์ที่ไม่ดี
  • เมื่อคุณต้องการข้อมูล ให้ระบุอย่างชัดเจนถึงเหตุผลและวิธีที่คุณจะใช้ข้อมูลดังกล่าว

ทำงานไม่พร้อมกัน

  • ห้ามทำเครื่องหมายการสนทนาว่าไม่ใช้งาน การสื่อสารผ่าน Business Messages เป็นแบบอะซิงโครนัส ดังนั้นผู้ใช้จึงอาจไม่ตอบกลับในทันที
  • อย่าติดตามผู้ใช้ที่ไม่ตอบสนอง ผู้ใช้จะไม่ถูกตัดการเชื่อมต่อหลังจาก ออกจากการสนทนาแล้ว

ดูคำแนะนำเพิ่มเติมเกี่ยวกับการทำให้ตัวแทนมีประสิทธิภาพได้ในข้อกำหนดและหลักเกณฑ์