คิวการจัดทำดัชนีของ Google Cloud Search

Connector SDK และ Google Cloud Search API อนุญาตให้สร้างคิวการจัดทำดัชนีของ Cloud Search ที่ใช้เพื่อทำงานต่อไปนี้

• รักษาสถานะต่อเอกสาร (สถานะ ค่าแฮช และอื่นๆ) ซึ่งใช้เพื่อซิงค์ดัชนีกับที่เก็บได้

• ดูแลรายการรายการที่จะจัดทำดัชนีตามที่พบในระหว่างกระบวนการ การข้าม

• จัดลำดับความสำคัญของรายการในคิวตามสถานะของรายการ

• ดูแลข้อมูลสถานะเพิ่มเติมเพื่อการผสานรวมที่มีประสิทธิภาพ เช่น จุดตรวจสอบ โทเค็นการเปลี่ยนแปลง และอื่นๆ

คิวคือป้ายกำกับที่กำหนดให้กับรายการที่จัดทำดัชนี เช่น "ค่าเริ่มต้น" สำหรับคิวเริ่มต้น หรือ "B" สำหรับคิว B

สถานะและลำดับความสำคัญ

ลำดับความสำคัญของเอกสารในคิวจะขึ้นอยู่กับรหัส ItemStatus รหัสที่เป็นไปได้มีดังนี้ ItemStatus ตามลำดับความสำคัญ (จัดการก่อนไปจัดการทีหลัง)

• ERROR - รายการพบข้อผิดพลาดแบบอะซิงโครนัสระหว่างกระบวนการจัดทำดัชนี และต้องจัดทำดัชนีอีกครั้ง

• MODIFIED - รายการที่เคยจัดทำดัชนีและมีการแก้ไขใน ที่เก็บนับตั้งแต่การจัดทำดัชนีครั้งล่าสุด

• NEW_ITEM - รายการที่ไม่ได้จัดทำดัชนี

• ACCEPTED - เอกสารที่จัดทำดัชนีไว้ก่อนหน้านี้และไม่มีการเปลี่ยนแปลงใน ที่เก็บนับตั้งแต่การจัดทำดัชนีครั้งล่าสุด

เมื่อรายการ 2 รายการในคิวมีสถานะเดียวกัน ระบบจะให้ลำดับความสำคัญสูงกว่าแก่ รายการที่อยู่ในคิวนานที่สุด

ภาพรวมของการใช้คิวการจัดทำดัชนีเพื่อจัดทำดัชนีรายการใหม่หรือรายการที่มีการเปลี่ยนแปลง

รูปที่ 1 แสดงขั้นตอนในการจัดทำดัชนีสินค้าใหม่หรือสินค้าที่มีการเปลี่ยนแปลงโดยใช้คิวการจัดทำดัชนี ขั้นตอนเหล่านี้แสดงการเรียก REST API สำหรับการเรียก SDK ที่เทียบเท่า โปรดดูที่ การดำเนินการคิว (Connector SDK)

รูปที่ 1 ขั้นตอนการจัดทำดัชนีเพื่อเพิ่มหรืออัปเดตรายการ

1. ตัวเชื่อมต่อเนื้อหาใช้ items.push เพื่อพุชรายการ (ข้อมูลเมตาและแฮช) ไปยังคิวการจัดทำดัชนีเพื่อกำหนดสถานะของรายการ (MODIFIED, NEW_ITEM, DELETED) โดยเฉพาะ

   • เมื่อพุช ตัวเชื่อมต่อจะรวมพุช type หรือ contentHash ไว้โดยชัดแจ้ง
   • หากตัวเชื่อมต่อไม่มี type Cloud Search จะใช้ contentHash โดยอัตโนมัติเพื่อกำหนดสถานะของรายการ
   • หากไม่รู้จักสินค้า ระบบจะตั้งค่าสถานะสินค้าเป็น NEW_ITEM
   • หากมีรายการอยู่และค่าแฮชตรงกัน ระบบจะคงสถานะเป็น ACCEPTED
   • หากมีรายการอยู่และแฮชแตกต่างกัน สถานะจะเปลี่ยนเป็น MODIFIED

   ดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีสร้างสถานะของรายการได้ที่โค้ดตัวอย่างการสำรวจที่เก็บ GitHub ในบทแนะนำการเริ่มต้นใช้งาน Cloud Search

   โดยปกติแล้ว การพุชจะเชื่อมโยงกับกระบวนการสำรวจเนื้อหาและ/หรือการตรวจหาการเปลี่ยนแปลงในตัวเชื่อมต่อ

2. ตัวเชื่อมต่อเนื้อหาใช้ items.poll เพื่อสำรวจคิวเพื่อระบุรายการที่จะจัดทำดัชนี Cloud Search จะบอกตัวเชื่อมต่อ ว่ารายการใดที่จำเป็นต้องทำดัชนีมากที่สุด โดยจะจัดเรียงตามรหัสสถานะก่อน แล้วจึงจัดเรียงตาม เวลาในคิว

3. ตัวเชื่อมต่อจะดึงข้อมูลรายการเหล่านี้จากที่เก็บและสร้างคำขอ API ดัชนี

4. เครื่องมือเชื่อมต่อใช้ items.index เพื่อจัดทำดัชนีรายการ รายการจะเข้าสู่สถานะ ACCEPTED หลังจากที่ Cloud Search ประมวลผลรายการเสร็จสมบูรณ์แล้วเท่านั้น

นอกจากนี้ ตัวเชื่อมต่อยังลบรายการได้หากไม่มีอยู่ในที่เก็บอีกต่อไป หรือพุชรายการอีกครั้งได้หากไม่มีการแก้ไขหรือหากมี ข้อผิดพลาดในที่เก็บต้นทาง ดูข้อมูลเกี่ยวกับการลบรายการได้ในส่วนถัดไป

หมายเหตุ: กลยุทธ์การข้ามบางอย่าง เช่น การข้ามแบบเต็ม จะใช้คิวการจัดทำดัชนีมากกว่า 1 คิว ดูตัวอย่างวิธีใช้คิว 2 คิวได้ใน ส่วนถัดไป

ภาพรวมของการใช้คิวการจัดทำดัชนีเพื่อลบรายการ

กลยุทธ์การสำรวจแบบเต็ม ใช้กระบวนการ 2 คิวเพื่อจัดทำดัชนีรายการ และตรวจหาการลบ รูปที่ 2 แสดงขั้นตอนในการลบรายการโดยใช้คิวการจัดทำดัชนี 2 คิว โดยเฉพาะอย่างยิ่ง รูปที่ 2 แสดงการข้ามครั้งที่ 2 ที่ดำเนินการ โดยใช้กลยุทธ์การข้ามแบบเต็ม ขั้นตอนเหล่านี้ใช้การเรียก REST API สําหรับการเรียกใช้ SDK ที่เทียบเท่า โปรดดูการดําเนินการในคิว (Connector SDK)

รูปที่ 2 การลบรายการ

หมายเหตุ: ในรายการขั้นตอนต่อไปนี้ ขั้นตอนที่ 1-4 จะไม่แสดงในรูปที่ 2 เนื่องจาก เป็นขั้นตอนเดียวกันกับขั้นตอนที่ 1-4 ในแผนภาพก่อนหน้าและไม่อยู่ในขอบเขตของ ส่วนนี้ ขั้นตอนที่ 5 ไม่ได้แสดงเนื่องจากการเรียกใช้ deleteQueueItems ในคิวที่ว่างเปล่าไม่ได้อยู่ในขอบเขตของส่วนนี้ แผนภาพนี้มุ่งเน้นไปที่ การข้ามครั้งที่ 2

1. ในการไปยังส่วนต่างๆ ครั้งแรก ตัวเชื่อมต่อเนื้อหาจะใช้ items.push เพื่อส่งรายการ (ข้อมูลเมตาและแฮช) ไปยังคิวการจัดทำดัชนี "คิว A" เป็น NEW_ITEM เนื่องจากไม่มีอยู่ในคิว ระบบจะกำหนดป้ายกำกับ "A" ให้กับแต่ละรายการสำหรับ "คิว A" ระบบจะจัดทำดัชนีเนื้อหาใน Cloud Search

   หมายเหตุ: ตัวเชื่อมต่อสามารถกำหนดป้ายกำกับคิวได้โดยใช้ฟิลด์ queue ของรายการ กับรายการระหว่างการดำเนินการ item.push หรือ item.index คุณแก้ไขป้ายกำกับนี้ได้ทุกเมื่อที่ส่งไอเทมอีกครั้งหรือจัดทำดัชนีอีกครั้ง

2. ตัวเชื่อมต่อเนื้อหาใช้ items.poll เพื่อสำรวจคิว A เพื่อระบุรายการที่จะจัดทำดัชนี Cloud Search จะบอกตัวเชื่อมต่อ ว่ารายการใดที่จำเป็นต้องทำดัชนีมากที่สุด โดยจะจัดเรียงตามรหัสสถานะก่อน แล้วจึงจัดเรียงตาม เวลาในคิว

3. ตัวเชื่อมต่อจะดึงข้อมูลรายการเหล่านี้จากที่เก็บและสร้างคำขอ API ดัชนี

4. เครื่องมือเชื่อมต่อใช้ items.index เพื่อจัดทำดัชนีรายการ รายการจะเข้าสู่สถานะ ACCEPTED หลังจากที่ Cloud Search ประมวลผลรายการเสร็จสมบูรณ์แล้วเท่านั้น

5. มีการเรียกใช้เมธอด deleteQueueItems ใน "คิว B" แต่ไม่มีการส่งรายการไปยังคิว B จึงลบอะไรไม่ได้

6. ในการไปยังส่วนต่างๆ แบบเต็มครั้งที่ 2 ตัวเชื่อมต่อเนื้อหาจะใช้ items.push เพื่อส่งรายการ (ข้อมูลเมตาและแฮช) ไปยังคิว B

   • เมื่อพุช ตัวเชื่อมต่อจะรวมพุช type หรือ contentHash ไว้โดยชัดแจ้ง
   • หากตัวเชื่อมต่อไม่มี type Cloud Search จะใช้ contentHash โดยอัตโนมัติเพื่อกำหนดสถานะของรายการ
   • หากไม่รู้จักรายการ ระบบจะตั้งค่าสถานะรายการเป็น NEW_ITEM และเปลี่ยนป้ายกำกับคิว เป็น "B"
   • หากมีรายการอยู่และค่าแฮชตรงกัน ระบบจะคงสถานะเป็น ACCEPTED และเปลี่ยนป้ายกำกับคิวเป็น "B"
   • หากมีรายการอยู่และแฮชแตกต่างกัน สถานะจะเปลี่ยนเป็น MODIFIED และคิว ป้ายกำกับจะเปลี่ยนเป็น "B"

7. ตัวเชื่อมต่อเนื้อหาใช้ items.poll เพื่อสำรวจคิวเพื่อระบุรายการที่จะจัดทำดัชนี Cloud Search จะบอกตัวเชื่อมต่อ ว่ารายการใดที่จำเป็นต้องทำดัชนีมากที่สุด โดยจะจัดเรียงตามรหัสสถานะก่อน แล้วจึงจัดเรียงตาม เวลาในคิว

8. ตัวเชื่อมต่อจะดึงข้อมูลรายการเหล่านี้จากที่เก็บและสร้างคำขอ API ดัชนี

9. เครื่องมือเชื่อมต่อใช้ items.index เพื่อจัดทำดัชนีรายการ รายการจะเข้าสู่สถานะ ACCEPTED หลังจากที่ Cloud Search ประมวลผลรายการเสร็จสมบูรณ์แล้วเท่านั้น

10. สุดท้าย deleteQueueItems จะเรียกใช้ในคิว A เพื่อลบรายการ CCloud Search ที่จัดทำดัชนีไว้ก่อนหน้านี้ทั้งหมดซึ่ง ยังคงมีป้ายกำกับคิว "A"

11. ในการ Crawl แบบเต็มครั้งต่อๆ ไป ระบบจะสลับคิวที่ใช้สำหรับการจัดทำดัชนี และคิวที่ใช้สำหรับการลบ

การดำเนินการในคิว (Connector SDK)

Content Connector SDK มีการดำเนินการสำหรับการพุชรายการไปยังคิวและดึง รายการจากคิว

หากต้องการแพ็กเกจและพุชรายการไปยังคิว ให้ใช้คลาส pushItems Builder

คุณไม่จำเป็นต้องดำเนินการใดๆ เพื่อดึงข้อมูลจากคิวสำหรับการ ประมวลผล แต่ SDK จะดึงข้อมูลรายการจากคิวโดยอัตโนมัติตามลำดับความสำคัญโดยใช้เมธอด getDoc ของคลาส Repository

การดำเนินการคิว (REST API)

REST API มี 2 วิธีต่อไปนี้สำหรับการพุชรายการไปยังคิวและดึงรายการจากคิว

• หากต้องการส่งรายการไปยังคิว ให้ใช้ Items.push
• หากต้องการสำรวจรายการในคิว ให้ใช้ Items.poll

นอกจากนี้ คุณยังใช้ Items.index เพื่อส่งรายการไปยังคิวในระหว่างการจัดทำดัชนีได้ด้วย รายการที่ส่งไปยังคิวระหว่างการจัดทำดัชนีไม่จำเป็นต้องมีtype และจะได้รับสถานะACCEPTEDโดยอัตโนมัติ

Items.push

เมธอด Items.push จะเพิ่มรหัสลงในคิว เรียกใช้เมธอดนี้ได้ด้วยค่าtype ที่เฉพาะเจาะจง ซึ่งกำหนดผลลัพธ์ของการดำเนินการพุช ดูรายการค่า type ได้ในช่อง item.type ในเมธอด Items.push

การพุชรหัสใหม่จะส่งผลให้มีการเพิ่มรายการใหม่พร้อมรหัส NEW_ITEM ItemStatus

ระบบจะจัดเก็บเพย์โหลดที่ไม่บังคับเสมอ ถือว่าเป็นค่าทึบแสง และส่งคืนจาก Items.poll

เมื่อมีการสำรวจรายการ ระบบจะสงวนรายการดังกล่าว ซึ่งหมายความว่าการเรียกใช้ Items.poll อีกครั้งจะไม่สามารถคืนค่ารายการได้ การใช้ Items.push กับ type เป็น NOT_MODIFIED, REPOSITORY_ERROR หรือ REQUEUE จะยกเลิกการจอง รายการที่สำรวจ ดูข้อมูลเพิ่มเติมเกี่ยวกับรายการที่จองไว้และที่ไม่ได้จองได้ที่ส่วนItems.poll

Items.push ที่มีแฮช

Google Cloud Search API รองรับการระบุค่าแฮชของข้อมูลเมตาและเนื้อหาในคำขอ Items.index แทนที่จะระบุ type คุณสามารถระบุค่าแฮชของข้อมูลเมตาและ/หรือเนื้อหา ได้ด้วยคำขอแบบพุช คิวการจัดทำดัชนีของ Cloud Search จะเปรียบเทียบค่าแฮชที่ระบุกับค่าที่จัดเก็บไว้ซึ่งมีอยู่ในรายการในแหล่งข้อมูล หากไม่ตรงกัน ระบบจะทำเครื่องหมายรายการนั้นเป็น MODIFIED หากไม่มีรายการที่เกี่ยวข้องในดัชนี สถานะจะเป็น NEW_ITEM

หมายเหตุ: ระบบจะไม่บันทึกค่าแฮชที่ระบุพร้อมกับคำขอ Items.push ไว้กับสินค้า ระบบจะใช้รายการเหล่านี้เพื่อพิจารณาว่ามีการแก้ไข รายการหรือไม่

Items.poll

เมธอด Items.poll จะดึงข้อมูลรายการที่มีลำดับความสำคัญสูงสุดจากคิว ค่าสถานะที่ขอและที่แสดงจะระบุสถานะของคิวลำดับความสำคัญที่ขอหรือสถานะของรหัสที่แสดง

โดยค่าเริ่มต้น ระบบอาจแสดงรายการจากส่วนใดก็ได้ของคิวโดยอิงตาม ลำดับความสำคัญ รายการที่แสดงผลแต่ละรายการจะได้รับการสงวนไว้ และการเรียกใช้ Items.poll อื่นๆ จะไม่แสดงผลรายการดังกล่าว จนกว่าจะตรงกับกรณีใดกรณีหนึ่งต่อไปนี้

• การจองหมดเวลา
• Items.index จะจัดคิวรายการอีกครั้ง
• Items.push จะเรียกใช้ด้วยค่า type เป็น NOT_MODIFIED, REPOSITORY_ERROR หรือ REQUEUE