Patrones de diseño para la validación de direcciones de gran volumen en Google Cloud Platform

Objetivo

En el instructivo de High Volume Address Validation, se te guió por diferentes situaciones en las que se puede usar la validación de direcciones de gran volumen. En este instructivo, te presentaremos diferentes patrones de diseño dentro de Google Cloud Platform para ejecutar High Volume Address Validation.

Comenzaremos con una descripción general sobre la ejecución de High Volume Address Validation en Google Cloud Platform con Cloud Run, Compute Engine o Google Kubernetes Engine para ejecuciones únicas. Luego, veremos cómo se puede incluir esta capacidad como parte de una canalización de datos.

Al final de este artículo, deberías comprender bien las diferentes opciones para ejecutar Address Validation en gran volumen en tu entorno de Google Cloud.

Arquitectura de referencia en Google Cloud Platform

En esta sección, se profundiza en diferentes patrones de diseño para High Volume Address Validation con Google Cloud Platform. Si ejecutas en Google Cloud Platform, puedes realizar la integración con tus procesos y canalizaciones de datos existentes.

Ejecuta High Volume Address Validation una vez en Google Cloud Platform

A continuación, se muestra una arquitectura de referencia de cómo compilar una integración en Google Cloud Platform que sea más adecuada para operaciones o pruebas únicas.

imagen

En este caso, te recomendamos que subas el archivo CSV a un bucket de Cloud Storage. Luego, se puede ejecutar la secuencia de comandos de High Volume Address Validation desde un entorno de Cloud Run. Sin embargo, puedes ejecutarlo en cualquier otro entorno de ejecución, como Compute Engine o Google Kubernetes Engine. El CSV de salida también se puede subir al bucket de Cloud Storage.

Ejecuta como una canalización de datos de Google Cloud Platform

El patrón de implementación que se muestra en la sección anterior es ideal para probar rápidamente High Volume Address Validation para un uso único. Sin embargo, si necesitas usarlo con regularidad como parte de una canalización de datos, puedes aprovechar mejor las capacidades nativas de Google Cloud Platform para que sea más sólido. Algunos de los cambios que puedes realizar incluyen los siguientes:

imagen

  • En este caso, puedes volcar archivos CSV en Cloud Storage buckets.
  • Un trabajo de Dataflow puede recuperar las direcciones que se procesarán y, luego, almacenarlas en caché en BigQuery.
  • La biblioteca de Python de Dataflow se puede extender para tener lógica para High Volume Address Validation para validar las direcciones del trabajo de Dataflow.

Ejecuta la secuencia de comandos desde una canalización de datos como un proceso recurrente de larga duración

Otro enfoque común es validar un lote de direcciones como parte de una canalización de datos de transmisión como un proceso recurrente. También puedes tener las direcciones en un almacén de datos de BigQuery. En este enfoque, veremos cómo compilar una canalización de datos recurrente (que debe activarse de forma diaria, semanal o mensual).

imagen

  • Sube el archivo CSV inicial a un bucket de Cloud Storage.
  • Usa Memorystore como un almacén de datos persistente para mantener el estado intermedio del proceso de larga duración.
  • Almacena en caché las direcciones finales en un BigQuery.
  • Configura Cloud Scheduler para ejecutar la secuencia de comandos de forma periódica.

Esta arquitectura cuenta con las siguientes ventajas:

  • Con Cloud Scheduler, la validación de direcciones se puede realizar de forma periódica. Es posible que desees volver a validar las direcciones de forma mensual o validar las direcciones nuevas de forma mensual o trimestral. Esta arquitectura ayuda a resolver ese caso de uso.

  • Si los datos del cliente están en BigQuery, las direcciones validadas o las marcas de validación se pueden almacenar en caché directamente allí. Nota: Lo que se puede almacenar en caché y cómo se describe en detalle en el artículo High Volume Address Validation.

  • El uso de Memorystore proporciona una mayor resiliencia y capacidad para procesar más direcciones. Este paso agrega un estado a toda la canalización de procesamiento que es necesario para controlar conjuntos de datos de direcciones muy grandes. También se pueden usar otras tecnologías de bases de datos, como Cloud SQL[https://cloud.google.com/sql] o cualquier otro tipo de base de datos que ofrezca Google Cloud Platform. Sin embargo, creemos que Memorystore equilibra perfectamente las necesidades de escalamiento y simplicidad, por lo que debería ser la primera opción.

Conclusión

Si aplicas los patrones que se describen aquí, puedes usar la API de Address Validation para diferentes casos de uso y desde diferentes casos de uso en Google Cloud Platform.

Escribimos una biblioteca de Python de código abierto para ayudarte a comenzar con los casos de uso descritos anteriormente. Se puede invocar desde una línea de comandos en tu computadora o desde Google Cloud Platform o desde otros proveedores de servicios en la nube.

Obtén más información para usar la biblioteca en este artículo.

Próximos pasos

Descarga el informe técnico Mejora las operaciones, las entregas y el proceso de finalización de compra con direcciones confiables y mira el seminario web Mejora las operaciones, las entregas y el proceso de finalización de compra con Address Validation .

Lecturas adicionales sugeridas:

Colaboradores

Google mantiene este artículo. Los siguientes colaboradores lo escribieron originalmente.
Autores principales:

Henrik Valve | Ingeniero de soluciones
Thomas Anglaret | Ingeniero de soluciones
Sarthak Ganguly | Ingeniero de soluciones