Pattern di progettazione per la convalida di indirizzi ad alto volume

Obiettivo

Il tutorial Convalida degli indirizzi ad alto volume ti ha guidato attraverso diversi scenari in cui è possibile utilizzare la convalida degli indirizzi ad alto volume. In questo tutorial, ti presenteremo diversi pattern di progettazione all'interno di Google Cloud Platform per l'esecuzione di Address Validation ad alto volume.

Inizieremo con una panoramica sull'esecuzione di Address Validation ad alto volume in Google Cloud con Cloud Run, Compute Engine o Google Kubernetes Engine per esecuzioni una tantum. Vedremo poi come questa funzionalità può essere inclusa in una pipeline di dati.

Al termine di questo articolo, dovresti avere una buona comprensione delle diverse opzioni per eseguire Address Validation in volumi elevati nel tuo ambiente Google Cloud.

Architettura di riferimento su Google Cloud Platform

Questa sezione approfondisce i diversi pattern di progettazione per la convalida degli indirizzi ad alto volume utilizzando Google Cloud Platform. L'esecuzione su Google Cloud Platform consente l'integrazione con i processi e le pipeline di dati esistenti.

Esecuzione una tantum di High Volume Address Validation su Google Cloud Platform

Di seguito è riportata un'architettura di riferimento su come creare un'integrazione su Google Cloud, più adatta per operazioni o test una tantum.

immagine

In questo caso, ti consigliamo di caricare il file CSV in un bucket Cloud Storage. Lo script High Volume Address Validation può quindi essere eseguito da un ambiente Cloud Run. Tuttavia, puoi eseguirlo in qualsiasi altro ambiente di runtime, come Compute Engine o Google Kubernetes Engine. Il file CSV di output può anche essere caricato nel bucket Cloud Storage.

Esecuzione come pipeline di dati di Google Cloud Platform

Il pattern di deployment mostrato nella sezione precedente è ideale per testare rapidamente Address Validation ad alto volume per un utilizzo una tantum. Tuttavia, se devi utilizzarlo regolarmente nell'ambito di una pipeline di dati, puoi sfruttare meglio le funzionalità native di Google Cloud per renderlo più efficace. Alcune delle modifiche che puoi apportare includono:

immagine

  • In questo caso, puoi eseguire il dump dei file CSV nei bucket Cloud Storage.
  • Un job Dataflow può recuperare gli indirizzi da elaborare e poi memorizzarli nella cache di BigQuery.
  • La libreria Python di Dataflow può essere estesa per includere la logica per la convalida degli indirizzi ad alto volume per convalidare gli indirizzi dal job Dataflow.

Esecuzione dello script da una pipeline di dati come processo ricorrente di lunga durata

Un altro approccio comune consiste nel convalidare un gruppo di indirizzi come parte di una pipeline di dati in streaming come processo ricorrente. Potresti anche avere gli indirizzi in un datastore BigQuery. In questo approccio vedremo come creare una pipeline di dati ricorrente (che deve essere attivata ogni giorno/settimana/mese)

immagine

  • Carica il file CSV iniziale in un bucket Cloud Storage.
  • Utilizza Memorystore come datastore permanente per mantenere lo stato intermedio del processo a lunga esecuzione.
  • Memorizza nella cache gli indirizzi finali in un datastore BigQuery.
  • Configura Cloud Scheduler per eseguire lo script periodicamente.

Questa architettura presenta i seguenti vantaggi:

  • Utilizzando Cloud Scheduler, la convalida degli indirizzi può essere eseguita periodicamente. Potresti voler riconvalidare gli indirizzi su base mensile o convalidare i nuovi indirizzi su base mensile/trimestrale. Questa architettura aiuta a risolvere questo caso d'uso.

  • Se i dati dei clienti si trovano in BigQuery, gli indirizzi convalidati o i flag di convalida possono essere memorizzati nella cache direttamente lì. Nota: cosa può essere memorizzato nella cache e come è descritto in dettaglio nell'articolo sulla convalida degli indirizzi ad alto volume

  • L'utilizzo di Memorystore offre una maggiore resilienza e la possibilità di elaborare più indirizzi. Questo passaggio aggiunge uno stato all'intera pipeline di elaborazione, necessario per gestire set di dati di indirizzi molto grandi. Qui è possibile utilizzare anche altre tecnologie di database come Cloud SQL [https://cloud.google.com/sql] o qualsiasi altro tipo di database offerto dalla piattaforma Google Cloud. Tuttavia, riteniamo che Memorystore bilanci perfettamente le esigenze di scalabilità e semplicità, pertanto dovrebbe essere la prima scelta.

Conclusione

Applicando i pattern descritti qui, puoi utilizzare l'API Address Validation per diversi casi d'uso e da diversi casi d'uso su Google Cloud.

Abbiamo scritto una libreria Python open source per aiutarti a iniziare con i casi d'uso descritti sopra. Può essere richiamato da una riga di comando sul tuo computer o da Google Cloud Platform o da altri provider cloud.

Scopri di più su come utilizzare la raccolta in questo articolo.

Passaggi successivi

Scarica il white paper Migliora pagamento, consegna e operazioni con indirizzi affidabili e visualizza il webinar Migliora pagamento, consegna e operazioni con Address Validation .

Letture consigliate per approfondire:

Collaboratori

Google gestisce questo articolo. È stato scritto originariamente dai seguenti collaboratori.
Autori principali:

Henrik Valve | Solutions Engineer
Thomas Anglaret | Solutions Engineer
Sarthak Ganguly | Solutions Engineer