การวัดผลกระทบของการตรวจสอบที่อยู่โดยใช้การทดสอบ A/B

เอกสารนี้อธิบายเทคนิคที่ควรพิจารณาเมื่อทำการทดสอบ A/B ของ Place Autocomplete และ Address Validation API ใน Google Maps Platform

ประโยชน์ 2 ข้อของการใช้ Place Autocomplete และ Address Validation API มีดังนี้

  • ประสบการณ์ของลูกค้าที่ดีขึ้น: การให้คำแนะนำแบบเรียลไทม์เกี่ยวกับที่อยู่และสถานที่แก่ลูกค้าจะช่วยให้ลูกค้าชำระเงินได้อย่างรวดเร็วและง่ายดายขึ้น ซึ่งจะช่วยให้ลูกค้าได้รับประสบการณ์ที่ดียิ่งขึ้น
  • ความถูกต้องของข้อมูลที่ดีขึ้น: Place Autocomplete และ Address Validation API จะช่วยเพิ่มความแม่นยำของข้อมูลลูกค้า ซึ่งถือเป็นเรื่องที่สำคัญมากเป็นพิเศษในอีคอมเมิร์ซ เนื่องจากข้อมูลที่อยู่ที่ถูกต้องต้องอาศัยข้อมูลที่ได้ในการส่งพัสดุให้สำเร็จ

หากต้องการปรับปรุงคุณภาพที่อยู่ ให้เรียกใช้การทดสอบ A/B เพื่อประเมินว่าโซลูชันการตรวจสอบความถูกต้องแบบใดที่ตรงกับความต้องการของคุณมากที่สุด นี่เป็นโอกาสในการตัดสินใจเชิงปริมาณว่าผลิตภัณฑ์ใดเหมาะกับกรณีการใช้งานของคุณที่สุด

การทดสอบ A/B คือวิธีเปรียบเทียบหน้าเว็บหรือแอป 2 เวอร์ชันกับกันและกัน เป็นการทดสอบที่มีการควบคุมประเภทหนึ่งที่ใช้พิจารณาผลของการเปลี่ยนแปลงตัวแปรที่มีต่อผลลัพธ์ที่วัดผลได้
หากต้องการทำการทดสอบ A/B ให้สร้างหน้าเว็บหรือแอป 2 เวอร์ชัน โดยเวอร์ชันแรกมีไว้เพื่อควบคุมและอีกเวอร์ชันหนึ่งมีการเปลี่ยนแปลงที่วัดผลได้ จากนั้นคุณจะแสดงเวอร์ชันเหล่านี้แก่ผู้ใช้กลุ่มต่างๆ และวัดว่าผู้ใช้โต้ตอบกับเวอร์ชันเหล่านั้นอย่างไร เวอร์ชันที่มีประสิทธิภาพดีกว่าคือเวอร์ชันที่ชนะ

ภาพรวมของสถาปัตยกรรมระบบ

มาดูการตรวจสอบความถูกต้องของที่อยู่การทดสอบ A/B ใน Use Case อีคอมเมิร์ซกัน แผนภาพสถาปัตยกรรมด้านล่างแสดงวิธีที่ลูกค้าโต้ตอบกับประสบการณ์การค้าของคุณ ซึ่งช่วยให้คุณกำหนดกลยุทธ์การตรวจสอบที่มีประสิทธิภาพมากขึ้นได้

[บริบทของระบบ] การตรวจสอบความถูกต้องของที่อยู่สำหรับการทดสอบ A/B

ระบบที่เกี่ยวข้องเมื่อทำการทดสอบ A/B กับค่าของ Address Validation API

แผนภาพสถาปัตยกรรมแสดงให้เห็นลูกค้าไปยังเว็บไซต์อีคอมเมิร์ซของคุณซึ่งโต้ตอบกับระบบการทดสอบ A/B ระบบนี้ตัดสินใจว่าจะแสดงตัวแปรการทดสอบใดต่อลูกค้า จากระบบซอฟต์แวร์ร้านค้าอีคอมเมิร์ซ ร้านค้าอีคอมเมิร์ซทำการเรียก API ไปยังระบบซอฟต์แวร์ Google Maps Platform นอกจากนี้ ยังเก็บรวบรวมการวิเคราะห์การทดสอบ A/B ซึ่งประมวลผลโดยระบบซอฟต์แวร์การวิเคราะห์ และรายงานกลับไปยังระบบการทดสอบ A/B

ขั้นตอนการทดสอบ A/B

เมื่อนึกถึงกระบวนการทดสอบ A/B โดยรวม คุณจะเห็น 4 ขั้นตอนด้วยกัน

  • การเตรียมพร้อม - ระบุข้อกำหนดการทดสอบ ขอบเขต และระยะเวลา
  • สร้าง - นำ Place Autocomplete และ Address Validation API ในสภาพแวดล้อมที่จะทำการทดสอบ
  • เรียกใช้ - รวบรวมเมตริกขณะที่ทดสอบ จนกว่าจะได้ผลลัพธ์ที่มีนัยสำคัญหรือหมดเวลา
  • วิเคราะห์ - เปรียบเทียบผลลัพธ์กับสมมติฐานและระบุขั้นตอนถัดไป

เราจะพูดเกี่ยวกับสิ่งเหล่านี้ไปพร้อมๆ กัน

ระดับชั้นเตรียม

การตัดสินใจเกี่ยวกับข้อกำหนดการทดสอบ A/B

การค้นพบเบื้องต้น

ลองถามตัวเองดูว่าทำไมคุณถึงเพิ่มหรือเปลี่ยนผู้ให้บริการตรวจสอบที่อยู่ ตัวอย่างเช่น การใช้การเติมข้อความอัตโนมัติใน Google Maps Places มีดังนี้

  • ประหยัดเวลา: คุณไม่จำเป็นต้องพิมพ์ชื่อสถานที่ทั้งหมด เพียงแค่เริ่มพิมพ์และดูคำแนะนำจะปรากฏขึ้น
  • ลดข้อผิดพลาด: หากคุณสะกดชื่อสถานที่ผิด การเติมข้อความอัตโนมัติของ Google Maps Places จะยังคงแนะนําสถานที่ที่ถูกต้อง

การตรวจสอบความถูกต้องดังกล่าวมีประโยชน์หลายประการ ดังนี้

  • อัตราการจัดส่งที่ดีขึ้น: การตรวจสอบที่อยู่จะช่วยปรับปรุงอัตราการนำส่ง โดยทำให้มั่นใจได้ว่ามีการส่งจดหมายและพัสดุไปยังที่อยู่ที่ถูกต้อง ซึ่งจะช่วยประหยัดเวลาและเงินให้กับธุรกิจ รวมถึงเพิ่มความพึงพอใจของลูกค้าได้
  • คุณภาพของข้อมูลดีขึ้น: การตรวจสอบที่อยู่จะช่วยปรับปรุงคุณภาพของข้อมูลด้วยการระบุและแก้ไขข้อผิดพลาดในที่อยู่ ซึ่งจะช่วยปรับปรุงความถูกต้องของแคมเปญการตลาดและโครงการริเริ่มอื่นๆ ที่ขับเคลื่อนด้วยข้อมูล

ตัดสินใจเกี่ยวกับสมมติฐาน

ตัดสินใจเลือกสมมติฐานที่จะทดสอบ ต่อไปนี้เป็นตัวอย่าง 2 ตัวอย่าง

1. อัตรา Conversion

เมื่อคุณเพิ่มประเภทข้างหน้า การเห็นอัตรา Conversion เพิ่มขึ้นเล็กน้อยตามปกติ นี่จึงเป็นเมตริกที่ดีที่ควรติดตาม หากคุณเปลี่ยนโซลูชันแบบล่วงหน้าจากผู้ให้บริการรายอื่น ก็ควรจะมีอัตรา Conversion คงที่ หากอัตรา Conversion ลดลง สิ่งแรกที่ต้องตรวจสอบคือการติดตั้งใช้งาน

อัตรา Conversion เป็นสิ่งสำคัญ แต่ก็ไม่ได้บอกเรื่องราวทั้งหมด การเพิ่มโซลูชันการตรวจสอบที่อยู่ออกแบบมาเพื่อป้องกันไม่ให้ผู้ใช้ส่งที่อยู่คุณภาพต่ำที่จุดแรกเข้า และอาจเพิ่มอุปสรรคบางอย่างในการดักจับที่อยู่ในบางกรณี ซึ่งอาจทำให้อัตรา Conversion โดยรวมลดลง แต่ก็ไม่ควรมองว่าเป็นเรื่องไม่ดีเสมอไป คำสั่งซื้อที่ยังดำเนินการไม่เสร็จเนื่องจากมีการเพิ่มการตรวจสอบที่อยู่อาจมีความเชื่อมโยงกับข้อมูลที่อยู่ที่มีคุณภาพไม่ดี ซึ่งอาจส่งผลให้ธุรกิจเกิดค่าใช้จ่ายสำหรับการดึงเงินคืนในการนำส่ง

2. การลดจำนวนที่อยู่คุณภาพต่ำ

นี่คือที่ที่โซลูชันการตรวจสอบที่อยู่ที่ดีมีประโยชน์อย่างแท้จริง เมื่อใช้การตรวจสอบที่อยู่ คุณควรจะเห็นข้อมูลที่อยู่คุณภาพต่ำลดลง

หากคุณกำลังเปรียบเทียบโซลูชันใหม่กับโซลูชันที่มีอยู่แล้ว คุณอาจอยากเปรียบเทียบอัตราการจับคู่ของ "ที่อยู่ที่ดี" และเลือกบริการที่ให้อัตราการจับคู่ที่สูงกว่า ข้อมูลนี้อาจทำให้เข้าใจผิดได้เนื่องจากบริการหนึ่งอาจมีข้อสันนิษฐานที่ผิดพลาดมากกว่าอีกบริการ

แต่เมตริกที่ให้ผลลัพธ์มากกว่าคือการเปรียบเทียบผลลัพธ์ที่ประสบความสําเร็จของการใช้ข้อมูลที่อยู่ หากพิจารณาอีคอมเมิร์ซเป็นตัวอย่าง ผลลัพธ์ที่ต้องการจากการบันทึกที่อยู่คือการนำส่งพัสดุสำเร็จในที่สุด

สร้าง

นี่แหละคือส่วนที่น่าตื่นเต้น ถึงเวลาสร้างโซลูชันใหม่ให้กับลูกค้าแล้ว เรามีคู่มือฉบับย่อสำหรับการใช้งาน Place Autocomplete และ Address Validation API ที่จุดชำระเงินของอีคอมเมิร์ซ เราขอแนะนำให้ดูหน้านี้ขณะทำขั้นตอนนี้

แม้ว่าคุณจะไม่ได้สร้างเพื่ออีคอมเมิร์ซโดยเฉพาะ แต่ข้อมูลจำนวนมากก็ยังคงมีความเกี่ยวข้อง โดยเฉพาะคำแนะนำเกี่ยวกับการพิจารณาคุณภาพของที่อยู่จากผลลัพธ์ของ Address Validation API

แผนภาพสถาปัตยกรรม

ด้านล่างนี้คือตัวอย่างคอนเทนเนอร์ที่ใช้เพื่อสร้างการทดสอบ A/B ในสภาพแวดล้อมอีคอมเมิร์ซได้

[สภาพแวดล้อมการดำเนินการ] การตรวจสอบความถูกต้องของที่อยู่สำหรับการทดสอบ A/B

แอปพลิเคชัน บริการ และการจัดเก็บข้อมูลที่สำคัญในระบบหลัก ขับเคลื่อนสถาปัตยกรรม (คลิกเพื่อขยาย)

แผนภาพสถาปัตยกรรมแสดงคอนเทนเนอร์ที่ประกอบเป็นระบบซอฟต์แวร์ทดสอบ A/B และระบบซอฟต์แวร์แอปอีคอมเมิร์ซ โดยจะแสดงให้ลูกค้าเห็นว่าเว็บไซต์อีคอมเมิร์ซของคุณโต้ตอบกับตัวจัดสรรภาระงาน ซึ่งจะนำลูกค้าไปยังแอปเว็บไซต์อีคอมเมิร์ซ ตัวจัดการการทดสอบ A/B จะสื่อสารกับตัวจัดสรรภาระงานเพื่อเลือกตัวแปรการทดสอบ A/B ที่จะแสดงต่อลูกค้า ระบบการทดสอบ A/B นี้ยังบันทึกผลลัพธ์และการกำหนดค่าของการทดสอบ A/B ในฐานข้อมูลที่คุณต้องการอีกด้วย เว็บแอปอีคอมเมิร์ซทำการเรียก API ไปยังระบบซอฟต์แวร์แพลตฟอร์ม Google Maps และรายงานเหตุการณ์การวิเคราะห์ไปยังระบบซอฟต์แวร์ Analytics ซึ่งบันทึกเหตุการณ์การทดสอบไปยังฐานข้อมูลผลการทดสอบ A/B

การตรวจสอบการติดตั้งใช้งาน

วิธีแก้ปัญหาที่นำไปใช้ได้ไม่ดีจะทำให้ผลการทดสอบไม่น่าเชื่อถือ ก่อนที่จะทำการทดสอบ A/B คุณควรตรวจสอบโซลูชันกับกลุ่มผู้ใช้ขนาดเล็กก่อนเพื่อให้ทำงานได้ตามที่คาดไว้ ซึ่งอาจเป็นผู้ทดสอบ QA ภายในและ/หรือกลุ่มผู้ทดสอบภายนอกที่ได้รับการคัดเลือก ซึ่งคุณไว้วางใจให้แสดงความคิดเห็นเชิงสร้างสรรค์

วิ่ง

การเพิ่มจำนวนช้าๆ

แม้จะตรวจสอบโซลูชันแล้ว แต่ก็ยังเป็นความคิดที่ดีที่จะเพิ่มการทดสอบอย่างช้าๆ โดยเริ่มต้นจากผู้ใช้กลุ่มเล็กๆ การทำเช่นนี้จะทำให้สามารถตรวจพบข้อบกพร่องหรือปัญหาอื่นๆ ได้ตั้งแต่เนิ่นๆ และจัดการได้อย่างรวดเร็วโดยไม่ส่งผลกระทบต่อผู้ใช้ส่วนใหญ่

การทดสอบเต็มรูปแบบ

เมื่อโซลูชันได้รับการทดสอบโดยผู้ใช้กลุ่มเล็กๆ และแก้ไขปัญหาแล้ว เราจะสามารถทำการทดสอบ A/B เต็มรูปแบบได้ ซึ่งไม่จำเป็นต้องเป็นการแยกการเข้าชมจริงแบบ 50/50 แต่ควรเทียบเคียงได้กับชุดการใช้งานจริงที่เลือกมาแบบสุ่ม

การเก็บข้อมูลเมตริก

ระหว่างการทดสอบ คุณควรบันทึกข้อมูลที่เหมาะสมในการสนับสนุนสมมติฐานของคุณ คุณสามารถใช้แพลตฟอร์มการทดสอบ A/B ได้ในระหว่างขั้นตอนนี้ เพื่อลดความซับซ้อนในการเก็บรวบรวมข้อมูลนี้ และทำการวิเคราะห์ในภายหลังได้ Google Maps Platform ยังรวบรวมเมตริกการใช้งาน API ที่อาจมีการใช้งานอยู่ คุณสามารถไปที่หน้านี้เพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับการใช้เครื่องมือการรายงาน

เมตริกที่แนะนำบางส่วนมีดังนี้

Place Autocomplete

อัตรา Conversion: อัตรา Conversion/การเสร็จสมบูรณ์ของแบบฟอร์มดีขึ้นจากที่ไม่เคยมีโซลูชันการเติมข้อความอัตโนมัติมาก่อนหรือไม่
การโต้ตอบกับเครื่องมือ: ผู้ใช้โต้ตอบกับการเติมข้อความอัตโนมัติสำเร็จมากขึ้นหรือไม่เมื่อเทียบกับโซลูชันก่อนหน้า

การตรวจสอบที่อยู่

การนำส่งสำเร็จ: การส่งที่ล้มเหลวลดลงเนื่องจากคุณภาพของที่อยู่หรือไม่
การเปลี่ยนแปลงที่อยู่: ค่าบริการแจ้งเปลี่ยนที่อยู่ที่คุณได้รับจากผู้ให้บริการจัดส่งมีจำนวนลดลงหรือไม่
ที่พักอาศัยเทียบกับเชิงพาณิชย์: มีการปรับปรุงด้านการบันทึกข้อมูลที่พักอาศัยเทียบกับเชิงพาณิชย์บ้างไหม (มีเฉพาะในบางตลาด)

วิเคราะห์

ตอนนี้การทดสอบจบลงแล้ว ถึงเวลาที่จะวิเคราะห์ผลลัพธ์เทียบกับเกณฑ์และสมมติฐานเดิมของการทดสอบ หากใช้แพลตฟอร์มการทดสอบ A/B เพื่อดำเนินการให้เสร็จสมบูรณ์ ข้อมูลบางอย่างอาจมีอยู่แล้วแก่คุณ

เมื่อกลับไปที่ส่วนการลดที่อยู่คุณภาพต่ำด้านบน คุณจะใช้เมตริกอื่นๆ ที่แพลตฟอร์มการทดสอบ A/B อาจยังไม่ได้บันทึกไว้ได้ด้วย ซึ่งอาจเป็นอัตราการส่งที่ล้มเหลวระหว่างสถานการณ์การทดสอบ โดยมีตัวอย่างข้อมูลดังต่อไปนี้

โซลูชัน ก โซลูชัน ข
การจัดส่งล้มเหลว 1.75% 1.23%

จากตัวอย่างพื้นฐานข้างต้น เห็นได้ชัดเจนว่าสำหรับกรณีการใช้งานนี้ โซลูชัน B จะเป็นตัวเลือกที่ดีกว่า

บทสรุป

เราหวังว่าคู่มือนี้จะให้ข้อมูลที่เพียงพอสำหรับการเริ่มต้นใช้งานการทดสอบ A/B แม้ว่า YouTube ได้ใช้ตัวอย่างจากแวดวงอีคอมเมิร์ซ แต่ก็สามารถใช้หลักการพื้นฐานเดียวกันนี้ได้อย่างครอบคลุม ระบุผลลัพธ์ที่ประสบความสำเร็จจากการมีข้อมูลที่อยู่ที่มีคุณภาพดีในธุรกิจ และติดตามข้อมูลนั้นดังกล่าวเป็นสมมติฐานหลัก

เราได้รวมลิงก์ที่กล่าวถึงในคู่มืออีกครั้งไว้ด้านล่างแล้วส่วนที่แนะนำให้อ่านเพิ่มเติม

ขอให้สนุกกับการทดสอบ

ขั้นตอนถัดไป

ดาวน์โหลดเอกสารประกอบปรับปรุงการชำระเงิน การนำส่ง และการดำเนินการด้วยที่อยู่ที่เชื่อถือได้ และดูการสัมมนาผ่านเว็บเกี่ยวกับการปรับปรุงการชำระเงิน การนำส่ง และการดำเนินการด้วยการตรวจสอบที่อยู่

แนะนำให้อ่านเพิ่มเติม:

ผู้ร่วมให้ข้อมูล

ผู้เขียนหลัก:

Henrik Valve | วิศวกรโซลูชัน Google Maps Platform