Medición del impacto de la validación de direcciones con una prueba A/B

En este documento, se describen las técnicas que debes tener en cuenta cuando realices una prueba A/B de las APIs de Place Autocomplete y Address Validation de Google Maps Platform.

A continuación, se indican algunos beneficios de utilizar Place Autocomplete y la API de Address Validation:

  • Experiencia del cliente mejorada: Si proporcionas sugerencias en tiempo real a tus clientes de direcciones y lugares, puedes ayudarlos a completar la confirmación de la compra de forma más rápida y sencilla. Esto puede mejorar la experiencia del cliente.
  • Precisión de datos mejorada: Place Autocomplete y la API de Address Validation pueden ayudarte a mejorar la precisión de los datos de tus clientes. Esto puede ser especialmente crítico en el comercio electrónico, ya que se necesitan datos de dirección precisos para entregar paquetes correctamente.

Para mejorar la calidad de tus direcciones, ejecuta una prueba A/B para evaluar qué solución de validación satisface mejor tus necesidades. Esto te da la oportunidad de decidir cuantitativamente qué producto es el más adecuado para tu caso de uso.

Una prueba A/B es una forma de comparar dos versiones de una página web o aplicación. Es un tipo de experimento controlado que se utiliza para determinar el efecto de un cambio en una variable sobre un resultado medible.
Para realizar una prueba A/B, crea dos versiones de una página o app: una como control y la otra con el cambio medible. Luego, muestras estas versiones a diferentes usuarios y mides cómo interactúan con ellos. La versión que tenga mejor rendimiento será la ganadora.

Descripción general de la arquitectura del sistema

Veamos las pruebas A/B de Address Validation en un caso de uso de comercio electrónico. En el siguiente diagrama de arquitectura, se muestra cómo interactuaría un cliente con tu experiencia comercial, lo que te permite determinar la estrategia de validación más efectiva.

[Contexto del sistema] Validación de dirección de A/B Testing

Son los sistemas involucrados cuando se realiza una prueba A/B del valor de la API de Address Validation.

El diagrama de arquitectura muestra cómo un cliente interactúa con el sistema de pruebas A/B en tu sitio web de comercio electrónico. Este sistema toma la decisión de qué variable de prueba mostrar al cliente, desde el sistema de software de la tienda de comercio electrónico. La tienda de comercio electrónico realiza una llamada a la API al sistema de software de Google Maps Platform. También recopila estadísticas de pruebas A/B, que son procesadas por un sistema de software de análisis y que se informan al sistema de pruebas A/B.

El proceso de prueba A/B

Cuando pienses en el proceso general de la prueba A/B, hay cuatro etapas que debes considerar.

  • Preparación: Identifica los requisitos, el alcance y la escala de tiempo de las pruebas.
  • Compilar: Implementa la API de Place Autocomplete y Address Validation en un entorno para ejecutar la prueba.
  • Ejecutar: Recopila métricas mientras se ejecuta la prueba, hasta que se obtengan resultados significativos o se agote el tiempo.
  • Analizar: Compara los resultados con la hipótesis y, luego, identifica los próximos pasos.

Hablaremos sobre cada una de ellas.

Prep.

Decidir sobre los requisitos de las pruebas A/B

Descubrimiento inicial

Pregúntate: ¿por qué quieres agregar o cambiar un proveedor de validación de direcciones? Por ejemplo, con Google Maps Places Autocomplete:

  • Te ahorra tiempo: no tienes que escribir el nombre completo de un lugar cuando puedes comenzar a escribir y ver las sugerencias.
  • Reduce los errores: Si escribes mal el nombre de un lugar, la función Autocompletar de Google Maps Places sugerirá el lugar correcto.

Existen muchos beneficios relacionados con la validación, entre los que se incluyen los siguientes:

  • Mejoras en las tasas de entrega: La validación de direcciones puede ayudar a mejorar el ritmo de entrega, ya que garantiza que el correo y los paquetes se envíen a la dirección correcta. Esto puede ahorrarle tiempo y dinero a las empresas, y mejorar la satisfacción del cliente.
  • Calidad de datos mejorada: La validación de direcciones puede ayudar a mejorar la calidad de los datos, ya que identifica y corrige errores en las direcciones. Esto puede mejorar la precisión de las campañas de marketing y otras iniciativas basadas en datos.

Decidir sobre una hipótesis

Decide la hipótesis que quieres probar. A continuación, presentamos dos ejemplos:

1. Porcentaje de conversiones

Cuando agregas una solución de tipo anticipada, es habitual ver un leve aumento en los porcentajes de conversiones, y esta es una buena métrica para hacer un seguimiento. Si cambias tu solución de tipo anticipada de otro proveedor, se espera que tu porcentaje de conversiones sea fijo. Si el porcentaje de conversiones baja, lo primero que se debe verificar es la implementación.

El porcentaje de conversiones es importante, pero es posible que no cuente la historia completa. Agregar una solución de validación de direcciones está diseñada para evitar que las personas envíen direcciones de mala calidad en el punto de entrada y puede generar fricción natural para abordar la captura en algunas situaciones. Esto podría generar una disminución en los porcentajes de conversiones generales, pero no necesariamente debe considerarse algo malo. Es posible que los pedidos sin completar debido a la adición de una validación de la dirección se hayan asociado con datos de direcciones de mala calidad que habrían generado un costo para la empresa a través de devoluciones de cargos de entrega.

2. Reducción de las direcciones de mala calidad

Aquí es donde una buena solución de validación de direcciones puede realmente destacar. Con la implementación de Address Validation, puedes prever una disminución en los datos de direcciones de baja calidad.

Si estás comparando una solución nueva con una existente, puede ser tentador simplemente comparar los porcentajes de coincidencias de "buena dirección" y seleccionar el servicio que proporciona un porcentaje de coincidencias más alto. Esto puede ser engañoso porque un servicio podría estar proporcionando más falsos positivos que el otro.

En cambio, la métrica de mayor impacto es comparar el resultado exitoso de usar los datos de las direcciones. Si tomamos el comercio electrónico como ejemplo, el resultado deseado de capturar una dirección sería la entrega exitosa de un paquete, eventualmente.

Compilar

¡Ahora es la parte emocionante! Es hora de crear una solución nueva para tus clientes. Ya tenemos una guía práctica para implementar Place Autocomplete y la API de Address Validation en una confirmación de la compra de comercio electrónico. Te recomendamos revisarla mientras completas este paso.

Incluso si no haces compilaciones específicamente para el comercio electrónico, gran parte de la información sigue siendo relevante, en especial la guía para determinar la calidad de la dirección a partir del resultado de la API de Address Validation.

Diagrama de arquitectura

A continuación, se muestra un ejemplo de los contenedores que se podrían usar para crear una prueba A/B en un entorno de comercio electrónico:

[Entorno de ejecución] Validación de direcciones de pruebas A/B

Las aplicaciones, los servicios y los almacenes de datos importantes en los sistemas clave que impulsan la arquitectura. (Haz clic para agrandar la imagen).

En el diagrama de arquitectura, se muestran los contenedores que conforman el sistema de software de prueba A/B y el sistema de software de la app de comercio electrónico. Muestra a un cliente de tu sitio web de comercio electrónico interactuando con un balanceador de cargas, que lo dirigirá a la app del sitio web de comercio electrónico. A/B Test Manager se comunica con el balanceador de cargas para seleccionar la variable de prueba A/B que se mostrará al cliente. Este sistema de pruebas A/B también registra los resultados y la configuración de la prueba A/B en la base de datos que elijas. La app web de comercio electrónico realiza llamadas a la API al sistema de software de Google Maps Platform y también informa eventos de estadísticas al sistema de software de Analytics, que registra los eventos de prueba en la base de datos de resultados de las pruebas A/B.

Valida la implementación

Una solución mal implementada producirá resultados de prueba poco fiables. Antes de ejecutar la prueba A/B, es importante validar la solución con un grupo de usuarios pequeño para asegurarte de que funciona como se espera. Pueden ser verificadores de QA internos o un grupo seleccionado de verificadores externos en quienes confíes para que den comentarios constructivos.

Ejecutar

Aceleración lenta

Incluso con la solución validada, sigue siendo una buena idea acelerar la prueba lentamente, comenzando con un pequeño grupo de usuarios. De esta manera, los errores y otros problemas se pueden detectar de forma temprana y rápida sin afectar a un gran porcentaje de tus usuarios.

Prueba completa

Una vez que un grupo pequeño de usuarios haya probado la solución y se hayan resuelto los problemas, podremos avanzar a una prueba A/B completa. No es necesariamente una verdadera división del tráfico 50/50, pero debería ser comparable en tamaño con un conjunto de uso en vivo seleccionado al azar.

Captura de métricas

Durante la prueba, debes asegurarte de que se capturen los datos adecuados para respaldar tu hipótesis. Puedes usar una plataforma de pruebas A/B durante este proceso para facilitar la recopilación de datos y el análisis posterior. Google Maps Platform también recopila métricas de uso de las APIs que pueden resultarte útiles. Puedes consultar esta página para obtener más información sobre el uso de nuestras herramientas de informes.

Estas son algunas métricas sugeridas:

Place Autocomplete

Porcentaje de conversiones: ¿Mejoró el porcentaje de conversiones o respuesta de tu formulario para que no tuviera una solución de autocompletar?
Interacción con la herramienta: ¿Hay más usuarios interactuando correctamente con Place Autocomplete en comparación con la solución anterior?

Address Validation

Entrega exitosa: ¿Hubo una reducción en las entregas fallidas debido a la calidad de las direcciones?
Cambios en la dirección: ¿Se redujeron los cargos por cambio de dirección que recibiste por parte de los servicios de mensajería?
Residencial vs. comerciales: ¿Hubo una mejora en la recopilación de datos residenciales en comparación con los comerciales? (solo en mercados seleccionados)

Analizar

Ahora que terminó la prueba, es momento de analizar los resultados en comparación con los criterios y la hipótesis de prueba originales. Si utilizaste una plataforma de pruebas A/B para completar el proceso, es posible que ya tengas cierta información disponible.

Si volvemos a la sección de reducción de las direcciones de baja calidad que aparece más arriba, también puedes utilizar otras métricas que la plataforma de pruebas A/B no registró. Esta podría ser la tasa de entregas fallidas entre las situaciones de prueba, con datos de ejemplo como los siguientes:

Solución A Solución B
Entregas con errores 1,75% 1,23%

Si observas el ejemplo básico anterior, queda claro que para este caso de uso, la solución B sería la mejor opción.

Conclusión

Esperamos que esta guía te haya brindado información suficiente para comenzar tu recorrido con las pruebas A/B. Aunque se han utilizado ejemplos del comercio electrónico, los mismos principios básicos se pueden aplicar de forma generalizada. Identifica el resultado exitoso de tener datos de tratamiento de buena calidad en tu empresa y haz un seguimiento de ello como tu hipótesis principal.

Incluimos los vínculos mencionados en la guía nuevamente a continuación, como se sugiere en otras lecturas.

¡Éxitos con la prueba!

Próximos pasos

Descarga el informe Mejora la confirmación de la compra, la entrega y las operaciones con direcciones confiables y consulta el seminario en línea Cómo mejorar la confirmación de la compra, la entrega y las operaciones con Address Validation .

Lectura adicional sugerida:

Colaboradores

Autores principales:

Henrik Valve | Ingeniero de soluciones de Google Maps Platform