Mierzenie wpływu weryfikacji adresu za pomocą testu A/B

W tym dokumencie opisujemy techniki, które należy wziąć pod uwagę podczas wykonywania testów A/B interfejsów API autouzupełniania i walidacji adresu Google Maps Platform.

Zalety korzystania z interfejsów Place Autocomplete i Address Verificationation API mają następujące zalety:

  • Większa wygoda klientów: wyświetlając w czasie rzeczywistym sugestie dotyczące adresów i miejsc, możesz pomóc im szybciej i łatwiej sfinalizować transakcję. W ten sposób poprawisz wrażenia klientów.
  • Większa dokładność danych: funkcje autouzupełniania i walidacji adresów umożliwiają zwiększenie dokładności danych o klientach. Może to być szczególnie ważne w przypadku e-commerce, ponieważ dokładne dane adresowe decydują o prawidłowym dostarczaniu przesyłek.

Aby poprawić jakość adresów, przeprowadź test A/B i oceń, które rozwiązanie weryfikacyjne najlepiej odpowiada Twoim potrzebom. Daje Ci to możliwość ilościowego określenia, która usługa najlepiej pasuje do Twojego przypadku użycia.

Test A/B to metoda porównywania ze sobą 2 wersji strony internetowej lub aplikacji. Jest to rodzaj kontrolowanego eksperymentu służącego do określania wpływu zmiany zmiennej na mierzalny wynik.
Aby przeprowadzić test A/B, utwórz 2 wersje strony lub aplikacji – jedną wersję kontrolną i drugą z mierzalną zmianą. Następnie wyświetlasz te wersje różnym użytkownikom i mierzysz, jak wchodzą z nimi w interakcję. Wersja, która radzi sobie lepiej, wygrywa.

Omówienie architektury systemu

Sprawdźmy weryfikację adresu A/B w ramach testów A/B w przypadku użycia e-commerce. Poniższy schemat architektury pokazuje, jak klient będzie wchodzić w interakcję z Twoimi działaniami handlowymi. Na tej podstawie możesz określić skuteczniejszą strategię weryfikacji.

[Kontekst systemu] Weryfikacja adresu w ramach testów A/B

Systemy uczestniczące w testach A/B wartości interfejsu Address Verificationation API.

Schemat architektury pokazuje, jak klient w Twojej witrynie e-commerce wchodzi w interakcję z Systemem testów A/B. Ten system decyduje, którą zmienną testową wyświetlić klientowi z oprogramowania sklepu e-commerce. Sklep e-commerce wysyła do systemu oprogramowania Google Maps Platform wywołanie interfejsu API. Zbierane są też statystyki z testów A/B, które są przetwarzane przez system oprogramowania analitycznego i przesyłane do systemu testów A/B.

Proces testowania A/B

Zastanawiając się nad ogólnym procesem testowania A/B, należy wziąć pod uwagę 4 etapy.

  • Przygotowanie – określanie wymagań, zakresu i harmonogramu testowania.
  • Kompilacja – zaimplementuj interfejs Place Autocomplete and Address Verificationation API w środowisku, w którym będzie przeprowadzany test.
  • Uruchom – zbieraj dane w trakcie testu do momentu uzyskania istotnych wyników lub upłynięcia czasu.
  • Przeprowadź analizę – porównaj wyniki z hipotezą i określ kolejne kroki.

Omówimy je po kolei.

Przygotowanie

Podejmowanie decyzji o wymaganiach dotyczących testów A/B

Wstępne odkrywanie

Zadaj sobie pytanie, dlaczego dodajesz lub zmieniasz dostawcę weryfikacji adresu? Na przykład podczas korzystania z autouzupełniania miejsc w Mapach Google:

  • Oszczędność czasu: nie musisz wpisywać całej nazwy miejsca – wystarczy, że zaczniesz pisać, a zobaczysz sugestie.
  • Zmniejsza liczbę błędów: jeśli popełnisz błąd w nazwie miejsca, autouzupełnianie Miejsc w Mapach Google zasugeruje poprawne miejsce.

Weryfikacja przynosi wiele korzyści, w tym:

  • Wyższa częstotliwość dostarczania: weryfikacja adresu może zwiększyć współczynnik dostarczania, ponieważ zapewnia, że poczta i paczki są wysyłane na prawidłowy adres. Dzięki temu firmy mogą zaoszczędzić czas i pieniądze oraz zwiększyć zadowolenie klientów.
  • Ulepszona jakość danych: weryfikacja adresu może poprawić jakość danych dzięki wykrywaniu i korygowaniu błędów w adresach. Może to zwiększyć dokładność kampanii marketingowych i innych inicjatyw opartych na danych.

Omawianie hipotezy

Ustal swoją hipotezę do przetestowania. Oto 2 przykłady:

1. Współczynnik konwersji

Po dodaniu rozwiązania typu „z wyprzedzeniem” możesz zazwyczaj odnotować niewielki wzrost współczynników konwersji, a to dobre dane do śledzenia. Jeśli zmieniasz typ rozwiązania od innego dostawcy, należy spodziewać się stałego współczynnika konwersji. Jeśli współczynnik konwersji spadnie, pierwszą rzeczą, którą należy sprawdzić, będzie implementacja.

Współczynnik konwersji jest ważny, ale nie mówi wszystkiego. Dodanie rozwiązania do weryfikacji adresów ma na celu wychwycenie osób przed przesłaniem adresów o niskiej jakości w miejscu wejścia i może w niektórych sytuacjach utrudniać robienie zdjęć. Może to prowadzić do spadku ogólnych współczynników konwersji, ale nie musi to być nic złego. Niezrealizowane zamówienia z powodu funkcji weryfikacji adresu mogły być związane z niską jakością danych adresowych, co spowodowałoby koszty dla firmy w wyniku obciążenia zwrotnego dostawy.

2. Niższa jakość adresów

W tym momencie może się okazać świetne rozwiązanie do weryfikacji adresów. Wdrożenie weryfikacji adresów powinno zmniejszyć ilość danych adresowych o niskiej jakości.

Gdy porównujesz nowe rozwiązanie z istniejącym rozwiązaniem, kuszące może być porównanie współczynników dopasowania „dobrego adresu” i wybranie usługi, która ma wyższy współczynnik dopasowania. Może to być mylące, ponieważ jedna usługa może podawać więcej fałszywych trafień niż druga.

Istotniejszym wskaźnikiem jest porównanie skuteczności stosowania danych adresowych. Weźmy na przykład e-commerce, że pożądanym rezultatem zarejestrowania adresu będzie faktyczna pomyślna dostarczenie przesyłki.

Kompilacja

Dalej to już ekscytująca część. Czas stworzyć nowe rozwiązanie dla Twoich klientów. Opracowaliśmy praktyczny przewodnik na temat wdrażania funkcji autouzupełniania miejsc i interfejsu API do weryfikacji adresów w procesie płatności e-commerce. Warto to sprawdzić w trakcie wykonywania tego kroku.

Nawet jeśli nie tworzysz treści specjalnie dla e-commerce, wiele informacji będzie nadal istotnych. W szczególności chodzi o wskazówki dotyczące określania jakości adresu na podstawie danych wyjściowych z interfejsu Address Verificationation API.

Schemat architektury

Oto przykłady kontenerów, których można użyć do utworzenia testu A/B w środowisku e-commerce:

[Środowisko wykonywania] Weryfikacja adresu w ramach testów A/B

Ważne aplikacje, usługi i magazyny danych w kluczowych systemach, na których opiera się architektura. (Kliknij, aby powiększyć).

Schemat architektury przedstawia kontenery, które składają się na system oprogramowania do testów A/B oraz system oprogramowania aplikacji e-commerce. Pokazuje ono klientowi Twoją witrynę e-commerce, który wchodzi w interakcję z systemem równoważenia obciążenia, który przekierowuje go do aplikacji witryny e-commerce. Menedżer testów A/B komunikuje się z systemem równoważenia obciążenia, aby wybrać zmienną testu A/B do wyświetlenia klientowi. Ten system testów A/B rejestruje również wyniki i konfigurację testu w wybranej bazie danych. Aplikacja internetowa e-commerce wysyła wywołania interfejsu API do systemu oprogramowania Google Maps Platform, a także zgłasza zdarzenia analityczne do systemu oprogramowania Analytics, który rejestruje zdarzenia testowe w bazie danych z wynikami testów A/B.

Weryfikowanie implementacji

Źle zaimplementowane rozwiązanie wygeneruje nierzetelne wyniki testu. Przed uruchomieniem testu A/B najpierw sprawdź, czy rozwiązanie działa zgodnie z oczekiwaniami na małej grupie użytkowników. Mogą to być wewnętrznie testerzy jakości lub wybrana grupa zewnętrznych testerów, którzy przekazywać konstruktywne opinie.

Uruchom

Powoli rośnie

Nawet po zweryfikowaniu rozwiązania warto stopniowo przeprowadzać test, zaczynając od małej grupy użytkowników. Dzięki temu można szybko wychwycić błędy i inne problemy bez wpływu na znaczną część użytkowników.

Pełny test

Po przetestowaniu rozwiązania przez małą grupę użytkowników i rozwiązaniu ewentualnych problemów możemy przejść do pełnego testu A/B. Nie musi to być prawdziwy podział ruchu na poziomie 50/50, ale powinno być porównywalne pod względem rozmiaru z losowo wybranym zestawem aktywnych użytkowników.

Przechwytywanie wskaźników

W trakcie testu musisz zadbać o to, by rejestrowały odpowiednie dane, które uzasadniają Twoją hipotezę. Aby ułatwić sobie zbieranie i późniejsze analizy danych, możesz w tym czasie korzystać z platformy do testów A/B. Google Maps Platform zbiera też dane o korzystaniu z interfejsu API, które mogą Ci się przydać. Możesz dowiedzieć się więcej o korzystaniu z naszych narzędzi do raportowania na tej stronie.

Oto niektóre zalecane dane:

Autouzupełnianie miejsc

Współczynnik konwersji: czy współczynnik konwersji/wypełniania formularza poprawił się, jeśli dotychczas nie było rozwiązania autouzupełniania formularzy?
Interakcja z narzędziem: czy więcej użytkowników używa autouzupełniania miejsc w porównaniu z poprzednim rozwiązaniem?

Weryfikacja adresu

Powodzenie: czy liczba nieudanych dostaw zmniejszyła się z powodu jakości adresu?
Zmiany adresu: czy zmniejszyła się liczba opłat za zmianę adresu otrzymywanych od kurierów?
Dane mieszkalne i komercyjne: czy odnotowano poprawę w zakresie rejestrowania danych dotyczących mieszkań i handlu? (tylko na wybranych rynkach)

Analizuj

Po zakończeniu testu nadszedł czas na analizę wyników pod kątem oryginalnych kryteriów oraz hipotezy. Jeśli do ukończenia tego procesu została użyta platforma do testów A/B, niektóre informacje mogą już być dostępne.

Wróćmy do sekcji Zmniejszanie liczby adresów o niskiej jakości powyżej. Możesz też skorzystać z innych danych, które mogły nie zostać zarejestrowane przez platformę testów A/B. Może to być liczba nieudanych dostaw między scenariuszami testowymi wraz z przykładowymi danymi:

Rozwiązanie A Rozwiązanie B
Nieudane dostawy 1,75% 1,23%

Patrząc na podstawowy przykład powyżej, widać, że w tym przypadku lepsze będzie rozwiązanie B.

Podsumowanie

Mamy nadzieję, że ten przewodnik zawiera wystarczającą ilość informacji, aby rozpocząć testy A/B. Chociaż zostały w nim wykorzystane przykłady z branży e-commerce, te same podstawowe zasady mogą być stosowane do wszystkich produktów. Określ dokładny wynik utrzymania wysokiej jakości danych adresowych w firmie i śledź te wyniki jako swoją główną hipotezę.

Poniżej znajdziesz linki do informacji w przewodniku.

Miłego testowania,

Dalsze kroki

Pobierz dokument Usprawnij proces płatności, dostawy i operacji dzięki wiarygodnym adresom i obejrzyj webinar Jak usprawnić proces płatności, dostawy i operacji dzięki weryfikacji adresu .

Sugerowana dalsza analiza:

Współtwórcy

Główne autorzy:

Henrik Valve | Inżynier rozwiązań Google Maps Platform