Mengukur dampak Validasi Alamat menggunakan pengujian A/B

Dokumen ini menjelaskan teknik yang perlu dipertimbangkan saat melakukan pengujian A/B untuk Place Autocomplete dan Address Validation API Google Maps Platform.

Beberapa manfaat menggunakan Place Autocomplete dan Address Validation API adalah sebagai berikut:

  • Pengalaman pelanggan yang lebih baik: Dengan memberikan saran real-time alamat dan tempat kepada pelanggan, Anda dapat membantu mereka menyelesaikan proses checkout dengan lebih cepat dan mudah. Hal ini dapat menghasilkan pengalaman pelanggan yang lebih baik.
  • Peningkatan akurasi data: Place Autocomplete dan Address Validation API dapat membantu Anda meningkatkan akurasi data pelanggan. Hal ini dapat menjadi sangat penting dalam e-commerce, karena data alamat yang akurat diandalkan agar pengiriman paket berhasil.

Untuk meningkatkan kualitas alamat, jalankan pengujian A/B untuk mengevaluasi solusi validasi yang paling memenuhi kebutuhan Anda. Hal ini memberi Anda kesempatan untuk memutuskan secara kuantitatif produk mana yang paling sesuai untuk kasus penggunaan Anda.

Pengujian A/B adalah cara untuk membandingkan dua versi halaman web atau aplikasi. Ini adalah jenis eksperimen terkontrol yang digunakan untuk menentukan pengaruh perubahan terhadap variabel pada hasil yang terukur.
Untuk melakukan pengujian A/B, buat dua versi halaman atau aplikasi, satu sebagai kontrol dan satu lagi dengan perubahan yang dapat diukur. Anda kemudian menunjukkan versi ini kepada pengguna yang berbeda dan mengukur cara mereka berinteraksi dengan mereka. Versi yang berperforma lebih baik adalah versi yang terbaik.

Ringkasan Arsitektur Sistem

Mari kita lihat Validasi Alamat pengujian A/B dalam kasus penggunaan e-commerce. Diagram arsitektur di bawah menunjukkan bagaimana pelanggan akan berinteraksi dengan pengalaman commerce Anda sehingga memungkinkan Anda menentukan strategi validasi yang lebih efektif.

[Konteks Sistem] Validasi Alamat A/B Testing

Sistem yang terlibat saat melakukan pengujian A/B nilai Address Validation API.

Diagram arsitektur menunjukkan pelanggan ke situs e-commerce Anda yang berinteraksi dengan Sistem Pengujian A/B. Sistem ini mengambil keputusan variabel uji mana yang akan ditampilkan kepada pelanggan, dari sistem software toko e-commerce. Toko e-commerce melakukan panggilan API ke sistem software Google Maps Platform. Alat ini juga mengumpulkan analisis pengujian A/B, yang diproses oleh sistem software analisis, dan dilaporkan kembali ke sistem pengujian A/B.

Proses A/B testing

Saat Anda memikirkan tentang proses pengujian A/B secara keseluruhan, ada empat tahap yang perlu dipertimbangkan.

  • Persiapan - Identifikasi persyaratan, cakupan, dan skala waktu pengujian.
  • Build - Implementasikan Place Autocomplete dan Address Validation API di lingkungan tempat pengujian akan dijalankan.
  • Jalankan - Kumpulkan metrik saat pengujian berjalan, hingga hasil yang signifikan diperoleh atau waktu telah habis.
  • Analisis - Bandingkan hasil dengan hipotesis dan identifikasi langkah selanjutnya.

Kita akan membahasnya satu per satu.

Persiapan

Menentukan persyaratan pengujian A/B

Penemuan awal

Tanyakan pada diri sendiri: Mengapa Anda menambahkan atau mengubah penyedia validasi alamat? Misalnya, menggunakan Pelengkapan Otomatis Tempat Google Maps:

  • Menghemat waktu: Anda tidak perlu mengetik seluruh nama tempat ketika Anda bisa langsung mengetik dan melihat saran muncul.
  • Mengurangi kesalahan: Jika Anda salah mengeja nama tempat, Pelengkapan Otomatis Tempat Google Maps akan tetap menyarankan tempat yang benar.

Ada banyak manfaat dari validasi alamat, antara lain:

  • Tingkat pengiriman yang lebih baik: Validasi alamat dapat membantu meningkatkan tingkat pengiriman dengan memastikan email dan paket dikirim ke alamat yang benar. Hal ini dapat menghemat waktu dan uang bagi bisnis, serta meningkatkan kepuasan pelanggan.
  • Peningkatan kualitas data: Validasi alamat dapat membantu meningkatkan kualitas data dengan mengidentifikasi dan memperbaiki kesalahan alamat. Hal ini dapat meningkatkan akurasi kampanye pemasaran dan inisiatif berbasis data lainnya.

Memutuskan hipotesis

Tentukan hipotesis Anda untuk diuji. Berikut dua contohnya:

1. Rasio konversi

Saat Anda menambahkan solusi pengetikan di depan, biasanya akan melihat sedikit peningkatan rasio konversi, dan ini adalah metrik yang bagus untuk dilacak. Jika Anda mengganti solusi jenis di depan dari penyedia lain, rasio konversi tetap harus sesuai. Jika rasio konversi turun, hal pertama yang harus diperiksa adalah implementasinya.

Rasio konversi memang penting, tetapi mungkin tidak memberikan gambaran lengkap. Menambahkan solusi validasi alamat dirancang untuk menemukan orang yang mengirimkan alamat dengan kualitas yang buruk di titik masuk, dan dapat menambah hambatan alami untuk pengambilan dalam beberapa skenario. Hal ini dapat menyebabkan penurunan rasio konversi secara keseluruhan, tetapi seharusnya ini tidak dianggap sebagai hal yang buruk. Pesanan yang belum selesai karena penambahan validasi alamat mungkin telah dikaitkan dengan data alamat berkualitas buruk yang dapat menimbulkan biaya pada bisnis melalui penagihan balik pengiriman.

2. Penurunan alamat berkualitas buruk

Di sinilah solusi validasi alamat yang baik dapat benar-benar bersinar. Dengan menerapkan Validasi Alamat, Anda akan melihat penurunan data alamat dengan kualitas yang buruk.

Jika Anda membandingkan solusi baru dengan solusi yang sudah ada, Anda mungkin tergoda untuk hanya membandingkan tingkat kecocokan 'alamat bagus', dan memilih layanan yang memberikan tingkat kecocokan yang lebih tinggi. Hal ini bisa menyesatkan karena satu layanan mungkin memberikan lebih banyak positif palsu daripada yang lain.

Sebaliknya, metrik yang lebih berpengaruh adalah membandingkan hasil keberhasilan penggunaan data alamat. Ambil contoh e-commerce sebagai contoh, hasil yang diinginkan dari pengambilan alamat adalah pengiriman paket yang akhirnya berhasil.

Build

Sekarang, inilah bagian yang menarik! Saatnya membangun solusi baru untuk pelanggan Anda. Kami sudah memiliki panduan praktis untuk menerapkan Place Autocomplete dan Address Validation API pada checkout e-commerce. Sebaiknya Anda memeriksanya saat menyelesaikan langkah ini.

Meskipun Anda tidak secara khusus membuat aplikasi untuk e-commerce, banyak informasinya yang masih relevan, terutama panduan tentang cara menentukan kualitas alamat dari output Address Validation API.

Diagram Arsitektur

Berikut adalah contoh penampung yang dapat digunakan untuk membuat pengujian A/B di lingkungan e-commerce:

[Lingkungan Eksekusi] Validasi Alamat A/B Testing

Aplikasi, layanan, dan penyimpanan data penting, dalam sistem kunci, yang mendukung arsitektur. (Klik untuk memperbesar.)

Diagram arsitektur menunjukkan container yang membentuk Sistem Software Pengujian A/B dan Sistem Software Aplikasi E-commerce. Gambar ini menunjukkan pelanggan ke situs e-commerce Anda yang berinteraksi dengan Load Balancer, yang akan mengarahkan mereka ke aplikasi situs e-commerce. Pengelola Pengujian A/B berkomunikasi dengan load balancer, untuk memilih variabel pengujian A/B yang akan ditampilkan kepada pelanggan. Sistem pengujian A/B ini juga mencatat hasil dan konfigurasi pengujian A/B di database pilihan Anda. Aplikasi Web E-commerce melakukan panggilan API ke Sistem Software Google Maps Platform, dan juga melaporkan peristiwa analisis ke sistem software Analytics, yang mencatat peristiwa pengujian ke database hasil pengujian A/B.

Memvalidasi penerapan

Solusi yang diterapkan dengan buruk akan memberikan hasil pengujian yang tidak dapat diandalkan. Sebelum menjalankan pengujian A/B, Anda harus memvalidasi solusi dengan sekelompok pengguna kecil terlebih dahulu untuk memastikannya berfungsi seperti yang diharapkan. Mereka dapat berupa penguji QA internal, dan/atau grup penguji eksternal terpilih, yang Anda percayai untuk memberikan masukan yang membangun.

Menjalankan

Meningkatkan perlahan

Meskipun solusi sudah divalidasi, sebaiknya tingkatkan pengujian secara perlahan, dimulai dengan sekelompok kecil pengguna. Dengan melakukan ini, bug atau masalah lainnya dapat diketahui lebih awal dan dapat ditangani dengan cepat tanpa memengaruhi sebagian besar pengguna.

Pengujian penuh

Setelah solusi tersebut diuji oleh sekelompok kecil pengguna dan semua masalah telah diatasi, kami dapat meningkatkan pengujian A/B penuh. Hal ini tidak harus berupa pembagian traffic 50/50 yang sebenarnya, namun ukurannya harus sebanding dengan kumpulan penggunaan live yang dipilih secara acak.

Merekam Metrik

Selama pengujian, Anda harus memastikan bahwa data yang tepat untuk mendukung hipotesis Anda telah diambil. Anda dapat menggunakan platform pengujian A/B selama proses ini, untuk memudahkan pengumpulan data ini, dan analisis selanjutnya. Google Maps Platform juga mengumpulkan metrik penggunaan API yang mungkin digunakan. Anda dapat membuka halaman ini untuk mempelajari lebih lanjut cara menggunakan alat pelaporan kami.

Beberapa metrik yang disarankan adalah sebagai berikut:

Place Autocomplete

Rasio konversi: Apakah rasio konversi/penyelesaian formulir Anda meningkat dari sebelumnya tidak memiliki solusi pelengkapan otomatis?
Interaksi alat: Apakah ada lebih banyak pengguna yang berhasil berinteraksi dengan Place Autocomplete dibandingkan dengan solusi sebelumnya?

Address Validation

Pengiriman berhasil: Apakah ada pengurangan pengiriman yang gagal karena kualitas alamat?
Perubahan alamat: Apakah ada pengurangan jumlah biaya perubahan alamat yang Anda terima dari kurir?
Area permukiman vs. komersial: Apakah ada peningkatan dalam pengambilan data perumahan vs. komersial? (khusus pasar tertentu)

Analisis

Sekarang pengujian telah selesai, saatnya menganalisis hasilnya berdasarkan kriteria dan hipotesis pengujian awal. Jika Anda menggunakan platform pengujian A/B untuk menyelesaikan proses ini, beberapa informasi mungkin sudah tersedia untuk Anda.

Kembali ke bagian Pengurangan alamat dengan kualitas buruk di atas, Anda juga dapat menggunakan metrik lain yang mungkin tidak ditangkap oleh platform pengujian A/B. Ini dapat berupa tingkat pengiriman yang gagal di antara skenario pengujian, dengan contoh data seperti ini:

Solusi A Solusi B
Pengiriman gagal 1,75% 1,23%

Melihat contoh dasar di atas, jelas bahwa untuk kasus penggunaan ini, Solusi B akan menjadi pilihan yang lebih baik.

Kesimpulan

Kami harap panduan ini memberikan informasi yang cukup bagi Anda untuk memulai perjalanan pengujian A/B! Meskipun telah menggunakan contoh dari ruang e-commerce, prinsip dasar yang sama dapat diterapkan secara keseluruhan. Tentukan hasil yang sukses dari memiliki data alamat yang berkualitas baik di bisnis Anda, dan lacak hal itu sebagai hipotesis utama Anda.

Kami telah menyertakan kembali tautan yang disebutkan dalam panduan di bawah, sebagai bacaan yang disarankan lebih lanjut.

Selamat mencoba!

Langkah Berikutnya

Download Laporan Resmi Meningkatkan checkout, pengiriman, dan operasi dengan alamat yang andal , serta lihat Webinar Meningkatkan checkout, pengiriman, dan operasi dengan Validasi Alamat .

Disarankan bacaan lebih lanjut:

Kontributor

Penulis utama:

Henrik Valve | Engineer Solusi Google Maps Platform