ออกแบบรูปแบบสำหรับการตรวจสอบที่อยู่ปริมาณมากใน Google Cloud Platform

วัตถุประสงค์

บทแนะนำเกี่ยวกับการยืนยันที่อยู่ปริมาณมากจะแนะนำคุณเกี่ยวกับสถานการณ์ต่างๆ ที่สามารถใช้การยืนยันที่อยู่ปริมาณมากได้ ในบทแนะนำนี้ เราจะแนะนำรูปแบบการออกแบบต่างๆ ภายใน Google Cloud Platform สำหรับการเรียกใช้ Address Validation ปริมาณมาก

เราจะเริ่มต้นด้วยภาพรวมเกี่ยวกับการเรียกใช้ Address Validation ปริมาณมากใน Google Cloud Platform ด้วย Cloud Run, Compute Engine หรือ Google Kubernetes Engine สำหรับการดำเนินการแบบครั้งเดียว จากนั้นเราจะดูวิธีรวมความสามารถนี้ไว้เป็นส่วนหนึ่งของไปป์ไลน์ข้อมูล

เมื่ออ่านบทความนี้จบแล้ว คุณควรจะเข้าใจตัวเลือกต่างๆ สำหรับการเรียกใช้ Address Validation ปริมาณมากในสภาพแวดล้อม Google Cloud ของคุณ

สถาปัตยกรรมอ้างอิงใน Google Cloud Platform

ส่วนนี้จะเจาะลึกรูปแบบการออกแบบต่างๆ สำหรับ Address Validation ปริมาณมากโดยใช้ Google Cloud Platform การเรียกใช้ใน Google Cloud Platform ช่วยให้คุณผสานรวมกับกระบวนการและไปป์ไลน์ข้อมูลที่มีอยู่ได้

การเรียกใช้ Address Validation ปริมาณมากแบบครั้งเดียวใน Google Cloud Platform

ด้านล่างนี้คือสถาปัตยกรรมอ้างอิงเกี่ยวกับวิธีสร้างการผสานรวมใน Google Cloud Platform ซึ่งเหมาะสำหรับการดำเนินการหรือการทดสอบแบบครั้งเดียว

รูปภาพ

ในกรณีนี้ เราขอแนะนำให้อัปโหลดไฟล์ CSV ไปยังบัคเก็ต Cloud Storage จากนั้นคุณจะเรียกใช้สคริปต์ Address Validation ปริมาณมากจากสภาพแวดล้อม Cloud Run ได้ อย่างไรก็ตาม คุณสามารถเรียกใช้สคริปต์ในสภาพแวดล้อมรันไทม์อื่นๆ เช่น Compute Engine หรือ Google Kubernetes Engine ได้ นอกจากนี้ คุณยังอัปโหลด CSV เอาต์พุตไปยังบัคเก็ต Cloud Storage ได้ด้วย

การเรียกใช้เป็นไปป์ไลน์ข้อมูล Google Cloud Platform

รูปแบบการติดตั้งใช้งานที่แสดงในส่วนก่อนหน้านี้เหมาะสำหรับการทดสอบ Address Validation ปริมาณมากอย่างรวดเร็วสำหรับการใช้งานแบบครั้งเดียว อย่างไรก็ตาม หากคุณต้องการใช้การยืนยันที่อยู่ปริมาณมากเป็นประจำซึ่งเป็นส่วนหนึ่งของไปป์ไลน์ข้อมูล คุณจะใช้ประโยชน์จากความสามารถดั้งเดิมของ Google Cloud Platform ได้ดียิ่งขึ้นเพื่อให้การยืนยันที่อยู่ปริมาณมากมีความเสถียรมากขึ้น การเปลี่ยนแปลงบางอย่างที่คุณทำได้มีดังนี้

รูปภาพ

  • ในกรณีนี้ คุณสามารถทิ้งไฟล์ CSV ใน Cloud Storage บัคเก็ตได้
  • งาน Dataflow สามารถเลือกที่อยู่ที่จะประมวลผลแล้วแคชใน BigQuery ได้
  • คุณสามารถขยายไลบรารี Dataflow Python เพื่อให้มีตรรกะสำหรับการยืนยันที่อยู่ปริมาณมากเพื่อยืนยันที่อยู่จากงาน Dataflow ได้

การเรียกใช้สคริปต์จากไปป์ไลน์ข้อมูลเป็นกระบวนการที่เกิดซ้ำเป็นเวลานาน

อีกแนวทางที่ใช้กันทั่วไปคือการยืนยันที่อยู่เป็นชุดๆ ซึ่งเป็นส่วนหนึ่งของไปป์ไลน์ข้อมูลแบบสตรีมมิงเป็นกระบวนการที่เกิดซ้ำ นอกจากนี้ คุณอาจมีที่อยู่ใน Datastore ของ BigQuery ในแนวทางนี้ เราจะดูวิธีสร้างไปป์ไลน์ข้อมูลตามรอบ (ซึ่งต้องทริกเกอร์ทุกวัน/สัปดาห์/เดือน)

รูปภาพ

  • อัปโหลดไฟล์ CSV เริ่มต้นไปยังบัคเก็ต Cloud Storage
  • ใช้ Memorystore เป็น Datastore แบบถาวรเพื่อรักษาสถานะระดับกลางสำหรับกระบวนการที่ใช้เวลานาน
  • แคชที่อยู่สุดท้ายใน BigQuery Datastore
  • ตั้งค่า Cloud Scheduler ให้เรียกใช้สคริปต์เป็นระยะๆ

สถาปัตยกรรมนี้มีข้อดีดังนี้

  • การใช้ Cloud Scheduler ช่วยให้ยืนยันที่อยู่ได้เป็นระยะๆ คุณอาจต้องการยืนยันที่อยู่อีกครั้งทุกเดือน หรือยืนยันที่อยู่ใหม่ทุกเดือน/ไตรมาส สถาปัตยกรรมนี้ช่วยแก้ปัญหาการใช้งานดังกล่าวได้

  • หากข้อมูลลูกค้าอยู่ใน BigQuery คุณจะแคชที่อยู่ที่ยืนยันแล้วหรือแฟล็กการยืนยันไว้ใน BigQuery ได้โดยตรง หมายเหตุ: ระบบจะอธิบายรายละเอียดเกี่ยวกับสิ่งที่แคชได้และวิธีแคชในบทความAddress Validation ปริมาณมาก

  • การใช้ Memorystore ช่วยให้มีความยืดหยุ่นสูงขึ้นและสามารถประมวลผลที่อยู่ได้มากขึ้น ขั้นตอนนี้จะเพิ่มสถานะให้กับไปป์ไลน์การประมวลผลทั้งหมด ซึ่งจำเป็นสำหรับการจัดการชุดข้อมูลที่อยู่ขนาดใหญ่มาก คุณยังใช้เทคโนโลยีฐานข้อมูลอื่นๆ เช่น Cloud SQL[https://cloud.google.com/sql] หรือฐานข้อมูลอื่นๆ ที่ Google Cloud Platform มีให้ได้ด้วย อย่างไรก็ตาม เราเชื่อว่า Memorystore จะตอบโจทย์ความต้องการด้านการปรับขนาดและความเรียบง่ายได้อย่างลงตัว จึงควรเป็นตัวเลือกแรก

บทสรุป

การใช้รูปแบบที่อธิบายไว้ที่นี่จะช่วยให้คุณใช้ Address Validation API สำหรับกรณีการใช้งานต่างๆ และจากกรณีการใช้งานต่างๆ ใน Google Cloud Platform ได้

เราได้เขียนไลบรารี Python แบบโอเพนซอร์สเพื่อช่วยคุณเริ่มต้นใช้งานกรณีการใช้งานที่อธิบายไว้ข้างต้น คุณสามารถเรียกใช้ไลบรารีจากบรรทัดคำสั่งในคอมพิวเตอร์ หรือเรียกใช้จาก Google Cloud Platform หรือผู้ให้บริการคลาวด์รายอื่นๆ ได้

ดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีใช้ไลบรารีได้จากบทความนี้

ขั้นตอนถัดไป

ดาวน์โหลดเอกสารไวท์เปเปอร์เรื่องปรับปรุงการชำระเงิน การจัดส่ง และการดำเนินงานด้วยที่อยู่ที่เชื่อถือได้ และดูการสัมมนาผ่านเว็บเรื่องการปรับปรุงการชำระเงิน การจัดส่ง และการดำเนินงานด้วยการยืนยันที่อยู่

อ่านเพิ่มเติมที่แนะนำ

ผู้ร่วมให้ข้อมูล

Google เป็นผู้ดูแลบทความนี้ ผู้ร่วมให้ข้อมูลต่อไปนี้เป็นผู้เขียนบทความนี้ในตอนแรก
ผู้เขียนหลัก

Henrik Valve | วิศวกรโซลูชัน
Thomas Anglaret | วิศวกรโซลูชัน
Sarthak Ganguly | วิศวกรโซลูชัน