תבניות עיצוב לאימות כתובות בנפח גבוה

מטרה

במדריך אימות כתובות בנפח גבוה הוצגו תרחישים שונים שבהם אפשר להשתמש באימות כתובות בנפח גבוה. במדריך הזה נציג לכם תבניות עיצוב שונות ב-Google Cloud Platform להפעלת אימות כתובות בנפח גבוה.

נתחיל בסקירה כללית על הפעלת High Volume Address Validation ב-Google Cloud Platform באמצעות Cloud Run, ‏ Compute Engine או Google Kubernetes Engine להרצות חד-פעמיות. לאחר מכן נראה איך אפשר לכלול את היכולת הזו כחלק מפייפליין.

בסוף המאמר הזה תבינו היטב את האפשרויות השונות להפעלת Address Validation בנפח גבוה בסביבת Google Cloud.

ארכיטקטורה לדוגמה ב-Google Cloud Platform

בקטע הזה נתעמק בתבניות עיצוב שונות לאימות כתובות בנפח גבוה באמצעות Google Cloud Platform. הפעלת המערכת ב-Google Cloud Platform מאפשרת לכם לשלב אותה בתהליכים ובפייפליינים הקיימים שלכם.

הרצה חד-פעמית של High Volume Address Validation ב-Google Cloud Platform

בהמשך מוצגת ארכיטקטורת עזר שמסבירה איך ליצור שילוב ב-Google Cloud Platform, שמתאים יותר לפעולות חד-פעמיות או לבדיקות.

תמונה

במקרה כזה, מומלץ להעלות את קובץ ה-CSV לקטגוריה של Cloud Storage. לאחר מכן אפשר להריץ את הסקריפט High Volume Address Validation מסביבת Cloud Run. עם זאת, אפשר להריץ אותו בכל סביבת זמן ריצה אחרת, כמו Compute Engine או Google Kubernetes Engine. אפשר גם להעלות את קובץ ה-CSV שנוצר לקטגוריה של Cloud Storage.

פועל כפייפליין של Google Cloud Platform

תבנית הפריסה שמוצגת בקטע הקודם מתאימה לבדיקה מהירה של High Volume Address Validation לשימוש חד-פעמי. עם זאת, אם אתם צריכים להשתמש בו באופן קבוע כחלק מפייפליין, תוכלו להשתמש ביכולות המקוריות של Google Cloud Platform כדי להפוך אותו ליציב יותר. דוגמאות לשינויים שאפשר לעשות:

תמונה

  • במקרה כזה, אתם יכולים להעביר קובצי CSV לקטגוריות של Cloud Storage.
  • משימת Dataflow יכולה לאסוף את הכתובות לעיבוד ואז לשמור אותן במטמון ב-BigQuery.
  • אפשר להרחיב את ספריית Dataflow Python כך שתכלול לוגיקה של High Volume Address Validation כדי לאמת את הכתובות ממשימת Dataflow.

הרצת הסקריפט מפייפליין נתונים כתהליך חוזר שנמשך זמן רב

גישה נפוצה נוספת היא לאמת קבוצה של כתובות כחלק מפייפליין נתונים בסטרימינג כתהליך חוזר. יכול להיות שהכתובות נמצאות גם במאגר נתונים של BigQuery. בגישה הזו נראה איך לבנות פייפליין נתונים חוזר (שצריך להפעיל מדי יום/שבוע/חודש)

תמונה

  • מעלים את קובץ ה-CSV הראשוני לקטגוריה של Cloud Storage.
  • משתמשים ב-Memorystore כמאגר נתונים קבוע כדי לשמור על מצב ביניים של התהליך שפועל לאורך זמן.
  • שומרים במטמון את הכתובות הסופיות במאגר נתונים של BigQuery.
  • מגדירים את Cloud Scheduler כדי להריץ את הסקריפט מדי פעם.

לארכיטקטורה הזו יש את היתרונות הבאים:

  • באמצעות Cloud Scheduler, אפשר לבצע אימות כתובות באופן תקופתי. מומלץ לאמת מחדש את הכתובות פעם בחודש, או לאמת כתובות חדשות פעם בחודש או פעם ברבעון. הארכיטקטורה הזו עוזרת לפתור את תרחיש השימוש הזה.

  • אם נתוני הלקוחות נמצאים ב-BigQuery, אפשר לשמור במטמון ישירות שם את הכתובות המאומתות או את סימוני האימות. הערה: במאמר בנושא High Volume Address Validation מוסבר בפירוט מה אפשר לשמור במטמון ואיך.

  • שימוש ב-Memorystore מספק עמידות גבוהה יותר ויכולת לעבד יותר כתובות. השלב הזה מוסיף שמירת מצב לכל צינור עיבוד הנתונים, שנדרשת כדי לטפל במערכי נתונים גדולים מאוד של כתובות. אפשר להשתמש כאן גם בטכנולוגיות אחרות של מסדי נתונים, כמו Cloud SQL‏[https://cloud.google.com/sql] או כל סוג אחר של מסד נתונים שמוצע ב-Google Cloud Platform. עם זאת, אנחנו מאמינים ש-Memorystore מאזן בצורה מושלמת בין צורכי ההתאמה לעומס לבין הפשטות, ולכן הוא צריך להיות הבחירה הראשונה.

סיכום

אם תיישמו את התבניות שמתוארות כאן, תוכלו להשתמש ב-Address Validation API בתרחישים שונים לדוגמה ב-Google Cloud Platform.

כתבנו ספריית Python בקוד פתוח כדי לעזור לכם להתחיל לעבוד עם התרחישים לדוגמה שמתוארים למעלה. אפשר להפעיל אותו משורת פקודה במחשב, מ-Google Cloud Platform או מספקי שירותי ענן אחרים.

במאמר הזה מוסבר איך משתמשים בספרייה.

השלבים הבאים

אתם יכולים להוריד את המאמר Improve checkout, delivery, and operations with reliable addresses (שיפור התשלום, המשלוח והתפעול באמצעות כתובות מהימנות) ולצפות בוובינר Improving checkout, delivery, and operations with Address Validation (שיפור התשלום, המשלוח והתפעול באמצעות Address Validation).

הצעות לקריאה נוספת:

תורמים

‫Google מתחזקת את המאמר הזה. הכותבים הבאים כתבו אותו במקור.
המחברים הראשיים:

הנריק ואלווה | מהנדס פתרונות
תומאס אנגלארט | מהנדס פתרונות
סארתאק גאנגולי | מהנדס פתרונות