Misurare l'impatto della convalida degli indirizzi mediante un test A/B

Questo documento descrive le tecniche da considerare quando si esegue un test A/B delle API di Google Maps Platform Place Autocomplete e Address Validation.

Ecco alcuni vantaggi dell'utilizzo dell'API Place Autocomplete e dell'API Address Validation:

  • Migliore esperienza del cliente: se fornisci ai tuoi clienti suggerimenti in tempo reale su indirizzi e luoghi, puoi aiutarli a completare la procedura di pagamento in modo più rapido e semplice. Ciò può portare a una migliore esperienza cliente.
  • Maggiore precisione dei dati: le API Place Autocomplete e Address Validation possono aiutarti a migliorare l'accuratezza dei dati dei tuoi clienti. Questo può essere particolarmente importante nell'e-commerce, poiché per una consegna corretta dei pacchi si fa affidamento su dati precisi sugli indirizzi.

Per migliorare la qualità degli indirizzi, esegui un test A/B per valutare quale soluzione di convalida soddisfa meglio le tue esigenze. Questo ti offre la possibilità di decidere quantitativamente il prodotto più adatto al tuo caso d'uso.

Un test A/B è un modo per confrontare due versioni di una pagina web o di un'app. È un tipo di esperimento controllato utilizzato per determinare l'effetto di una modifica a una variabile su un risultato misurabile.
Per eseguire un test A/B, crea due versioni di una pagina o un'app, una come controllo e l'altra con la variazione misurabile. Dopodiché puoi mostrare queste versioni a utenti diversi e misurare il modo in cui questi interagiscono con loro. La versione con il rendimento migliore è quella migliore.

Panoramica dell'architettura di sistema

Prendiamo in esame il test A/B della convalida degli indirizzi in un caso d'uso dell'e-commerce. Il diagramma dell'architettura riportato di seguito mostra come un cliente interagirebbe con la tua esperienza commerciale, consentendoti di determinare la strategia di convalida più efficace.

[Contesto del sistema] Convalida degli indirizzi per i test A/B

I sistemi coinvolti nei test A/B del valore dell'API Address Validation.

Il diagramma dell'architettura mostra un cliente del tuo sito web di e-commerce che interagisce con il sistema di test A/B. Questo sistema decide quale variabile di test mostrare al cliente dal sistema software del negozio di e-commerce. Il negozio di e-commerce effettua una chiamata API al sistema software Google Maps Platform. Raccoglie inoltre dati analitici dei test A/B, che vengono elaborati da un sistema software di analisi e trasmessi al sistema di test A/B.

Procedura del test A/B

Quando pensi al processo generale di test A/B, devi considerare quattro fasi.

  • Preparazione - Identifica i requisiti, l'ambito e le tempistiche dei test.
  • Creazione: implementa l'API Place Autocomplete e Address Validation in un ambiente su cui eseguire il test.
  • Esegui: raccogli metriche mentre il test è in esecuzione, finché non vengono ottenuti risultati significativi o finché il tempo non è scaduto.
  • Analizza: confronta i risultati con l'ipotesi e identifica i passaggi successivi.

Parleremo di questi argomenti uno alla volta.

Preparazione

Scelta dei requisiti dei test A/B

Scoperta iniziale

Chiediti: Perché stai aggiungendo o modificando un fornitore di convalida degli indirizzi? Ad esempio, se utilizzi il completamento automatico di Google Maps Places:

  • Risparmio di tempo:non dovrai digitare il nome completo di un luogo quando puoi semplicemente iniziare a digitare e visualizzare i suggerimenti.
  • Riduce gli errori: se digiti il nome di un luogo in modo errato, il completamento automatico di Google Maps Places ti suggerirà comunque il luogo corretto.

L'applicazione della convalida offre molti vantaggi, tra cui:

  • Tariffe di recapito migliorate: la convalida degli indirizzi può contribuire a migliorare le percentuali di recapito, garantendo che la posta e i pacchi vengano inviati all'indirizzo corretto. In questo modo, le attività possono risparmiare tempo e denaro e migliorare la soddisfazione del cliente.
  • Qualità dei dati migliorata: la convalida degli indirizzi può contribuire a migliorare la qualità dei dati identificando e correggendo gli errori negli indirizzi. Ciò può migliorare l'accuratezza delle campagne di marketing e di altre iniziative basate sui dati.

Decisione sull'ipotesi

Decidi l'ipotesi da verificare. Ecco due esempi:

1. Tasso di conversione

Quando aggiungi una soluzione precedente, solitamente si registra un leggero aumento dei tassi di conversione, che è una buona metrica da monitorare. Se stai modificando la soluzione in anticipo rispetto a un altro provider, il tasso di conversione dovrebbe essere fisso. Se il tasso di conversione scende, la prima cosa da controllare è l'implementazione.

Il tasso di conversione è importante, ma potrebbe non fornire un quadro completo. L'aggiunta di una soluzione di convalida degli indirizzi è concepita per impedire alle persone di inviare indirizzi di scarsa qualità al punto di ingresso e, in alcuni casi, può creare un qualche attrito naturale per risolvere i problemi di acquisizione. Ciò potrebbe determinare un calo dei tassi di conversione complessivi, ma non deve necessariamente essere considerato un aspetto negativo. Gli ordini non completati dovuti all'aggiunta della convalida dell'indirizzo potrebbero essere stati associati a dati dell'indirizzo di scarsa qualità che avrebbero comportato un costo per l'attività dovuto a storni di addebito della consegna.

2. Riduzione degli indirizzi di scarsa qualità

È qui che può davvero mettere in risalto una buona soluzione di convalida degli indirizzi. Implementando la convalida degli indirizzi, dovresti aspettarti una riduzione dei dati degli indirizzi di scarsa qualità.

Se stai confrontando una nuova soluzione con una esistente, potresti avere la tentazione di confrontare solo i tassi di corrispondenza "indirizzo buono" e di selezionare il servizio che offre un tasso di corrispondenza più elevato. Questo può essere fuorviante perché un servizio potrebbe fornire più falsi positivi dell'altro.

Invece, la metrica più efficace consiste nel confrontare il risultato riuscito dell'utilizzo dei dati degli indirizzi. Prendendo ad esempio l'e-commerce, il risultato desiderato dell'acquisizione di un indirizzo è l'eventuale consegna riuscita di un pacco.

Creazione

Ora è la parte più bella! È il momento di creare una nuova soluzione per i tuoi clienti. Abbiamo già una guida pratica per l'implementazione del completamento automatico del luogo e dell'API Address Validation al pagamento di un e-commerce. Ti consigliamo di verificarlo durante il completamento di questo passaggio.

Anche se non stai creando specificamente per l'e-commerce, molte informazioni sono comunque pertinenti, in particolare le indicazioni per determinare la qualità degli indirizzi dall'output dell'API Address Validation.

Diagramma dell'architettura

Di seguito è riportato un esempio di container che possono essere utilizzati per creare un test A/B in un ambiente di e-commerce:

[Ambiente di esecuzione] Convalida degli indirizzi di test A/B

Le importanti applicazioni, servizi e datastore presenti nei sistemi chiave alla base dell'architettura. (Fai clic per ingrandire.)

Il diagramma dell'architettura mostra i container che compongono il sistema software per i test A/B e il sistema software delle app di e-commerce. Mostra un cliente al tuo sito web di e-commerce che interagisce con un bilanciatore del carico e lo reindirizza all'app del sito web di e-commerce. Il responsabile dei test A/B comunica con il bilanciatore del carico per selezionare la variabile del test A/B da mostrare al cliente. Questo sistema di test A/B registra anche i risultati e la configurazione del test A/B in un database a tua scelta. L'app web di e-commerce effettua chiamate API al sistema software Google Maps Platform e segnala gli eventi di analisi al sistema software di Analytics, che registra gli eventi di test nel database dei risultati dei test A/B.

Convalida dell'implementazione

Una soluzione implementata male genera risultati di test inaffidabili. Prima di eseguire il test A/B, è importante convalidare la soluzione con un piccolo gruppo di utenti per assicurarsi che funzioni come previsto. Può trattarsi di tester QA interni e/o di un gruppo selezionato di tester esterni, di cui ti fidi per fornire feedback costruttivi.

Esegui

Aumento lento

Anche con la soluzione convalidata, è comunque una buona idea accelerare i tempi del test, iniziando con un piccolo gruppo di utenti. In questo modo, i bug o altri problemi possono essere individuati tempestivamente e risolti rapidamente, senza colpire un'ampia percentuale di utenti.

Test completo

Dopo che la soluzione è stata testata da un piccolo gruppo di utenti e gli eventuali problemi sono stati risolti, possiamo passare a un test A/B completo. Questa non deve necessariamente essere una vera suddivisione del traffico 50/50, ma dovrebbe essere paragonabile per dimensioni a un insieme selezionato casualmente di utilizzo in tempo reale.

Acquisizione metriche

Durante il test, devi assicurarti di acquisire dati appropriati a supporto della tua ipotesi. Durante questa procedura puoi utilizzare una piattaforma di test A/B per facilitare la raccolta dei dati e l'analisi successiva. Google Maps Platform raccoglie anche le metriche di utilizzo delle API che potrebbero essere utili. Puoi visitare questa pagina per scoprire di più sull'utilizzo dei nostri strumenti di segnalazione.

Di seguito sono riportate alcune metriche suggerite:

Place Autocomplete

Tasso di conversione: il tasso di conversione/completamento del modulo è migliorato a causa dell'assenza di una soluzione di completamento automatico precedente?
Interazione con lo strumento: un numero maggiore di utenti interagisce correttamente con il completamento automatico dei luoghi rispetto alla soluzione precedente?

Convalida degli indirizzi

Consegna riuscita: si è verificata una riduzione delle consegne non riuscite a causa della qualità dell'indirizzo?
Modifiche dell'indirizzo: c'è stata una riduzione del numero di addebiti per il cambio di indirizzo che hai ricevuto dai corrieri?
Residenziale e commerciale: c'è stato un miglioramento nell'acquisizione dei dati residenziali e commerciali? (solo in determinati mercati)

Analizza

Ora che il test è terminato, è il momento di analizzare i risultati rispetto all'ipotesi e ai criteri del test originali. Se hai utilizzato una piattaforma di test A/B per completare la procedura, alcune informazioni potrebbero essere già disponibili.

Tornando alla sezione Riduzione degli indirizzi di scarsa qualità qui sopra, puoi utilizzare anche altre metriche che potrebbero non essere state acquisite dalla piattaforma di test A/B. Potrebbe essere la percentuale di caricamenti non riusciti tra gli scenari di test, con dati di esempio come i seguenti:

Soluzione A Soluzione B
Consegne non riuscite 1,75% 1,23%

Osservando l'esempio di base riportato sopra, è chiaro che per questo caso d'uso la soluzione B sarebbe la scelta migliore.

Conclusione

Ci auguriamo che questa guida ti abbia fornito informazioni sufficienti per iniziare il tuo percorso di test A/B. Anche se ha utilizzato esempi tratti dall'e-commerce, gli stessi principi di base possono essere applicati a tutti i livelli. Individua il risultato positivo di dati relativi agli indirizzi di buona qualità nella tua attività e tracciali come ipotesi principale.

Abbiamo incluso nuovamente i link menzionati nella guida di seguito, come suggerito per un'ulteriore lettura.

Buon test!

Passaggi successivi

Scarica il white paper Migliorare la procedura di pagamento, la consegna e le operazioni con indirizzi affidabili e guardare il webinar Migliorare procedura di pagamento, consegna e operazioni con Address Validation .

Ulteriore lettura suggerita:

Collaboratori

Autori principali:

Henrik Valve | Solutions Engineer di Google Maps Platform