Yüksek hacimli adres doğrulama tasarım kalıpları

Hedef

Yüksek Hacimli Address Validation eğitiminde, yüksek hacimli Address Validation'ın kullanılabileceği farklı senaryoları incelediniz. Bu eğitimde, Google Cloud Platform'da yüksek hacimli Address Validation işlemleri için farklı tasarım kalıplarını tanıtacağız.

Öncelikle, tek seferlik yürütmeler için Cloud Run, Compute Engine veya Google Kubernetes Engine ile Google Cloud Platform'da High Volume Address Validation'ı çalıştırmaya genel bir bakış sunacağız. Ardından, bu özelliğin bir Data Pipelines'ın parçası olarak nasıl dahil edilebileceğini göreceğiz.

Bu makaleyi tamamladığınızda, Google Cloud ortamınızda Address Validation'ı yüksek hacimli olarak çalıştırmaya yönelik farklı seçenekler hakkında bilgi sahibi olacaksınız.

Google Cloud Platform'da referans mimari

Bu bölümde, Google Cloud Platform'u kullanarak High Volume Address Validation için farklı tasarım kalıpları daha ayrıntılı bir şekilde ele alınmaktadır. Google Cloud Platform'da çalıştırarak mevcut süreçleriniz ve Data Pipelines ile entegre edebilirsiniz.

Google Cloud Platform'da High Volume Address Validation'ı bir kez çalıştırma

Aşağıda, Google Cloud Platform'da tek seferlik işlemler veya testler için daha uygun olan bir entegrasyonun nasıl oluşturulacağına dair referans mimari gösterilmektedir.

resim

Bu durumda, CSV dosyasını bir Cloud Storage paketine yüklemenizi öneririz. High Volume Address Validation komut dosyası daha sonra bir Cloud Run ortamından çalıştırılabilir. Ancak bu kodu Compute Engine veya Google Kubernetes Engine gibi başka bir çalışma zamanı ortamında da çalıştırabilirsiniz. Çıkış CSV dosyası, Cloud Storage paketine de yüklenebilir.

Google Cloud Platform Data Pipelines olarak çalıştırma

Önceki bölümde gösterilen dağıtım modeli, High Volume Address Validation'ı tek seferlik kullanım için hızlı bir şekilde test etmek açısından idealdir. Ancak bu aracı bir Data Pipelines'ın parçası olarak düzenli şekilde kullanmanız gerekiyorsa daha sağlam hale getirmek için Google Cloud Platform'un yerel özelliklerinden daha iyi yararlanabilirsiniz. Yapabileceğiniz değişikliklerden bazıları şunlardır:

resim

  • Bu durumda, CSV dosyalarını Cloud Storage paketlerine aktarabilirsiniz.
  • Bir Dataflow işi, işlenecek adresleri alabilir ve ardından BigQuery'de önbelleğe alabilir.
  • Dataflow Python kitaplığı, Dataflow işindeki adresleri doğrulamak için High Volume Address Validation mantığına sahip olacak şekilde genişletilebilir.

Komut dosyasını bir Data Pipelines'tan uzun süreli yinelenen bir işlem olarak çalıştırma

Diğer bir yaygın yaklaşım ise yinelenen bir işlem olarak akış Data Pipelines'ın bir parçası olarak bir grup adresi doğrulamaktır. Adresler bir BigQuery veri deposunda da bulunabilir. Bu yaklaşımda, yinelenen bir Data Pipelines'ın (günlük/haftalık/aylık olarak tetiklenmesi gerekir) nasıl oluşturulacağını göreceğiz.

resim

  • İlk CSV dosyasını bir Cloud Storage paketine yükleyin.
  • Uzun süren işlem için ara durumu korumak amacıyla kalıcı bir veri deposu olarak Memorystore'u kullanın.
  • Nihai adresleri bir BigQuery veri deposunda önbelleğe alın.
  • Komut dosyasını düzenli olarak çalıştırmak için Cloud Scheduler'ı ayarlayın.

Bu mimarinin avantajları şunlardır:

  • Cloud Scheduler'ı kullanarak adres doğrulama işlemini düzenli olarak yapabilirsiniz. Adresleri aylık olarak yeniden doğrulamanız veya yeni adresleri aylık/üç aylık olarak doğrulamanız gerekebilir. Bu mimari, bu kullanım alanını çözmeye yardımcı olur.

  • Müşteri verileri BigQuery'deyse doğrulanmış adresler veya doğrulama işaretleri doğrudan orada önbelleğe alınabilir. Not: Nelerin ve nasıl önbelleğe alınabileceği, Yüksek Hacimli Address Validation makalesinde ayrıntılı olarak açıklanmıştır.

  • Memorystore kullanmak daha yüksek esneklik ve daha fazla adres işleme olanağı sağlar. Bu adım, çok büyük adres veri kümelerini işlemek için gereken durum bilgisini tüm işleme ardışık düzenine ekler. Cloud SQL[https://cloud.google.com/sql] gibi diğer veritabanı teknolojileri veya Google Cloud Platform'un sunduğu diğer veritabanı türleri de burada kullanılabilir. Ancak Memorystore'un ölçeklendirme ve basitlik ihtiyaçlarını mükemmel bir şekilde dengelediğini ve bu nedenle ilk tercih olması gerektiğini düşünüyoruz.

Sonuç

Burada açıklanan kalıpları uygulayarak Address Validation API'yi Google Cloud Platform'da farklı kullanım alanları için ve farklı kullanım alanlarından kullanabilirsiniz.

Yukarıda açıklanan kullanım alanlarını kullanmaya başlamanıza yardımcı olmak için açık kaynaklı bir Python kitaplığı yazdık. Bilgisayarınızdaki bir komut satırından veya Google Cloud Platform ya da diğer bulut sağlayıcılarından çağrılabilir.

Kitaplığı nasıl kullanacağınız hakkında daha fazla bilgiyi bu makalede bulabilirsiniz.

Sonraki Adımlar

Güvenilir adreslerle ödeme, teslimat ve operasyonları iyileştirme başlıklı teknik incelemeyi indirin ve Address Validation ile ödeme, teslimat ve operasyonları iyileştirme başlıklı web seminerini izleyin.

Önerilen ek kaynaklar:

Katkıda bulunanlar

Bu makale Google tarafından hazırlanmıştır. Bu makale, aşağıdaki katkıda bulunanlar tarafından yazılmıştır.
Asıl yazarlar:

Henrik Valve | Çözüm Mühendisi
Thomas Anglaret | Çözüm Mühendisi
Sarthak Ganguly | Çözüm Mühendisi