Wzorce projektowe weryfikacji adresów o dużej liczbie zapytań

Cel

Samouczek Weryfikacja adresów na dużą skalę przedstawia różne scenariusze, w których można używać weryfikacji adresów na dużą skalę. W tym samouczku przedstawimy różne wzorce projektowe w Google Cloud Platform, które umożliwiają przeprowadzanie weryfikacji adresów na dużą skalę.

Zaczniemy od omówienia jednorazowego uruchamiania weryfikacji adresów na dużą skalę w Google Cloud Platform za pomocą Cloud Run, Compute Engine lub Google Kubernetes Engine. Następnie zobaczymy, jak można uwzględnić tę funkcję w potoku danych.

Po przeczytaniu tego artykułu będziesz dobrze rozumieć różne opcje uruchamiania weryfikacji adresów na dużą skalę w środowisku Google Cloud.

Architektura referencyjna w Google Cloud Platform

W tej sekcji omówimy różne wzorce projektowe weryfikacji adresów na dużą skalę przy użyciu Google Cloud Platform. Dzięki uruchomieniu na Google Cloud Platform możesz zintegrować go z istniejącymi procesami i potokami danych.

Jednorazowe uruchomienie weryfikacji adresów na dużą skalę na Google Cloud Platform

Poniżej przedstawiamy architekturę referencyjną, która pokazuje, jak utworzyć integrację na platformie Google Cloud Platform. Jest ona bardziej odpowiednia do jednorazowych operacji lub testów.

obraz

W takim przypadku zalecamy przesłanie pliku CSV do zasobnika Cloud Storage. Skrypt High Volume Weryfikacja adresów można następnie uruchomić w środowisku Cloud Run. Możesz go jednak uruchomić w dowolnym innym środowisku wykonawczym, takim jak Compute Engine czy Google Kubernetes Engine. Wyjściowy plik CSV można też przesłać do zasobnika Cloud Storage.

Uruchamianie jako potok danych Google Cloud Platform

Wzorzec wdrażania przedstawiony w poprzedniej sekcji doskonale nadaje się do szybkiego przetestowania jednorazowego użycia weryfikacji adresów na dużą skalę. Jeśli jednak chcesz używać go regularnie w ramach potoku danych, możesz lepiej wykorzystać natywne funkcje Google Cloud Platform, aby zwiększyć jego niezawodność. Możesz wprowadzić m.in. te zmiany:

obraz

  • W takim przypadku możesz zrzucić pliki CSV do zasobników Cloud Storage.
  • Zadanie Dataflow może pobrać adresy do przetworzenia, a następnie zapisać je w pamięci podręcznej w BigQuery.
  • Bibliotekę Dataflow w Pythonie można rozszerzyć o logikę weryfikacji adresów na dużą skalę, aby weryfikować adresy z zadania Dataflow.

uruchamianie skryptu z potoku danych jako długotrwałego procesu cyklicznego,

Innym powszechnym podejściem jest weryfikacja zbioru adresów w ramach strumieniowego potoku danych jako procesu cyklicznego. Adresy mogą też znajdować się w magazynie danych BigQuery. W tym podejściu zobaczymy, jak utworzyć cykliczny potok danych (który musi być uruchamiany codziennie, co tydzień lub co miesiąc).

obraz

  • Prześlij początkowy plik CSV do zasobnika Cloud Storage.
  • Użyj Memorystore jako trwałego magazynu danych, aby zachować stan pośredni długotrwałego procesu.
  • Zapisz ostateczne adresy w magazynie danych BigQuery.
  • Skonfiguruj Cloud Scheduler, aby okresowo uruchamiać skrypt.

Ta architektura ma następujące zalety:

  • Za pomocą Cloud Scheduler można okresowo przeprowadzać weryfikację adresów. Możesz ponownie weryfikować adresy co miesiąc lub weryfikować nowe adresy co miesiąc lub co kwartał. Ta architektura pomaga rozwiązać ten problem.

  • Jeśli dane klientów znajdują się w BigQuery, zweryfikowane adresy lub flagi weryfikacji mogą być przechowywane w pamięci podręcznej bezpośrednio w tej usłudze. Uwaga: szczegółowe informacje o tym, co i jak można przechowywać w pamięci podręcznej, znajdziesz w artykule o weryfikacji adresów na dużą skalę.

  • Korzystanie z Memorystore zapewnia większą odporność i możliwość przetwarzania większej liczby adresów. Ten krok dodaje stanowość do całego potoku przetwarzania, co jest niezbędne do obsługi bardzo dużych zbiorów danych adresowych. Można tu też użyć innych technologii baz danych, takich jak Cloud SQL [https://cloud.google.com/sql] lub dowolna inna baza danych oferowana przez Google Cloud Platform. Uważamy jednak, że Memorystore idealnie równoważy potrzeby związane ze skalowaniem i prostotą, dlatego powinien być pierwszym wyborem.

Podsumowanie

Stosując opisane tutaj wzorce, możesz używać interfejsu Address Validation API w różnych przypadkach użycia i z różnych przypadków użycia na Google Cloud Platform.

Napisaliśmy bibliotekę Pythona typu open source, która pomoże Ci rozpocząć korzystanie z opisanych powyżej przypadków użycia. Można go wywołać z wiersza poleceń na komputerze, z Google Cloud Platform lub od innych dostawców chmury.

Więcej informacji o korzystaniu z biblioteki znajdziesz w tym artykule.

Następne kroki

Pobierz dokument Usprawnij procesy płatności, dostawy i operacji dzięki wiarygodnym adresom i obejrzyj webinar Usprawnij procesy płatności, dostawy i operacji dzięki weryfikacji adresów .

Sugerowane artykuły:

Współtwórcy

Google zarządza tym artykułem. Został on napisany przez tych współtwórców.
Główni autorzy:

Henrik Valve | inżynier ds. rozwiązań
Thomas Anglaret | inżynier ds. rozwiązań
Sarthak Ganguly | inżynier ds. rozwiązań