Pola desain validasi alamat bervolume tinggi

Tujuan

Tutorial Validasi Alamat Volume Tinggi memandu Anda melalui berbagai skenario tempat validasi alamat volume tinggi dapat digunakan. Dalam tutorial ini, kami akan memperkenalkan berbagai pola desain dalam Google Cloud Platform untuk menjalankan Validasi Alamat Bervolume Tinggi.

Kita akan mulai dengan ringkasan tentang cara menjalankan Validasi Alamat Bervolume Tinggi di Google Cloud Platform dengan Cloud Run, Compute Engine, atau Google Kubernetes Engine untuk eksekusi satu kali. Kemudian, kita akan melihat bagaimana kemampuan ini dapat disertakan sebagai bagian dari pipeline data.

Setelah membaca artikel ini, Anda akan memiliki pemahaman yang baik tentang berbagai opsi untuk menjalankan Validasi Alamat dalam volume tinggi di lingkungan Google Cloud Anda.

Arsitektur referensi di Google Cloud Platform

Bagian ini membahas lebih dalam berbagai pola desain untuk Validasi Alamat Volume Tinggi menggunakan Google Cloud Platform. Dengan menjalankannya di Google Cloud Platform, Anda dapat berintegrasi dengan proses dan pipeline data yang ada.

Menjalankan High Volume Address Validation satu kali di Google Cloud Platform

Berikut adalah arsitektur referensi tentang cara membangun integrasi di Google Cloud Platform yang lebih cocok untuk operasi atau pengujian satu kali.

gambar

Dalam hal ini, sebaiknya upload file CSV ke bucket Cloud Storage. Skrip High Volume Address Validation kemudian dapat dijalankan dari lingkungan Cloud Run. Namun, Anda dapat menjalankannya di lingkungan runtime lain seperti Compute Engine atau Google Kubernetes Engine. CSV output juga dapat diupload ke bucket Cloud Storage.

Berjalan sebagai pipeline data Google Cloud Platform

Pola deployment yang ditampilkan di bagian sebelumnya sangat cocok untuk menguji High Volume Address Validation dengan cepat untuk penggunaan satu kali. Namun, jika Anda perlu menggunakannya secara rutin sebagai bagian dari pipeline data, Anda dapat memanfaatkan kemampuan native Google Cloud Platform dengan lebih baik untuk membuatnya lebih andal. Beberapa perubahan yang dapat Anda lakukan meliputi:

gambar

  • Dalam hal ini, Anda dapat membuang file CSV di bucket Cloud Storage.
  • Tugas Dataflow dapat mengambil alamat yang akan diproses, lalu meng-cache-nya di BigQuery.
  • Library Python Dataflow dapat diperluas agar memiliki logika untuk Validasi Alamat Volume Tinggi guna memvalidasi alamat dari tugas Dataflow.

Menjalankan skrip dari pipeline data sebagai proses berulang yang berjalan lama

Pendekatan umum lainnya adalah memvalidasi batch alamat sebagai bagian dari pipeline data streaming sebagai proses berulang. Anda mungkin juga memiliki alamat di datastore BigQuery. Dalam pendekatan ini, kita akan melihat cara membangun pipeline data berulang (yang perlu dipicu setiap hari/minggu/bulan)

gambar

  • Upload file CSV awal ke bucket Cloud Storage.
  • Gunakan Memorystore sebagai datastore persisten untuk mempertahankan status perantara untuk proses yang berjalan lama.
  • Menyimpan alamat akhir dalam cache di datastore BigQuery.
  • Siapkan Cloud Scheduler untuk menjalankan skrip secara berkala.

Arsitektur ini memiliki keunggulan berikut:

  • Dengan menggunakan Cloud Scheduler, Address Validation dapat dilakukan secara berkala. Anda mungkin ingin memvalidasi ulang alamat setiap bulan atau memvalidasi alamat baru setiap bulan/kuartal. Arsitektur ini membantu menyelesaikan kasus penggunaan tersebut.

  • Jika data pelanggan ada di BigQuery, alamat yang divalidasi atau Flag validasi dapat di-cache langsung di sana. Catatan: Hal yang dapat di-cache dan caranya dijelaskan secara mendetail dalam artikel Validasi Alamat Volume Tinggi

  • Penggunaan Memorystore memberikan ketahanan yang lebih tinggi dan kemampuan untuk memproses lebih banyak alamat. Langkah ini menambahkan statefulness ke seluruh pipeline pemrosesan yang diperlukan untuk menangani set data alamat yang sangat besar. Teknologi database lain seperti Cloud SQL[https://cloud.google.com/sql] atau jenis database lainnya yang ditawarkan Google Cloud Platform juga dapat digunakan di sini. Namun, kami yakin Memorystore menyeimbangkan kebutuhan penskalaan dan kesederhanaan dengan sempurna, sehingga harus menjadi pilihan pertama.

Kesimpulan

Dengan menerapkan pola yang dijelaskan di sini, Anda dapat menggunakan Address Validation API untuk berbagai kasus penggunaan dan dari berbagai kasus penggunaan di Google Cloud Platform.

Kami telah menulis library Python open source untuk membantu Anda memulai kasus penggunaan yang dijelaskan di atas. Alat ini dapat dipanggil dari command line di komputer Anda atau dapat dipanggil dari Google Cloud Platform atau penyedia cloud lainnya.

Pelajari lebih lanjut cara menggunakan koleksi dari artikel ini.

Langkah Berikutnya

Download Laporan resmi Meningkatkan kualitas checkout, pengiriman, dan operasi dengan alamat yang andal dan tonton Webinar Meningkatkan kualitas checkout, pengiriman, dan operasi dengan Validasi Alamat .

Bacaan lebih lanjut yang disarankan:

Kontributor

Google mengelola artikel ini. Kontributor berikut awalnya menulisnya.
Penulis utama:

Henrik Valve | Solutions Engineer
Thomas Anglaret | Solutions Engineer
Sarthak Ganguly | Solutions Engineer