قوائم انتظار فهرسة Google Cloud Search

تتيح حزمة تطوير البرامج (SDK) للموصل وواجهة برمجة التطبيقات في Cloud Search إنشاء قوائم انتظار الفهرسة في Cloud Search. يمكنك استخدام قوائم الانتظار هذه لإجراء ما يلي:

  • الاحتفاظ بحالة كل مستند (الحالة، والتجزئة، وما إلى ذلك) للحفاظ على مزامنة الفهرس
  • الاحتفاظ بقائمة بالعناصر التي سيتم فهرسة محتواها، كما تم رصدها أثناء الزحف
  • تحديد أولويات العناصر استنادًا إلى حالتها
  • الاحتفاظ بمعلومات الحالة، مثل نقاط التحقّق ورموز التغيير

قائمة الانتظار هي تصنيف يتم تعيينه لعنصر مفهرس (مثل "تلقائي").

الحالة والأولوية

تعتمد أولوية المستند على ItemStatus الخاص به. الرموز المحتملة، حسب ترتيب الأولوية (من الأعلى إلى الأدنى)، هي:

  • ‫ERROR: حدث خطأ غير متزامن في العنصر ويجب إعادة فهرسته.
  • MODIFIED: تم فهرسة العنصر سابقًا، ولكن تم تغييره في المستودع.
  • ‫NEW_ITEM: لم تتم فهرسة السلعة بعد.
  • ‫ACCEPTED: تمت فهرسة العنصر سابقًا ولم يتم تغييره.

بالنسبة إلى العناصر التي لها الحالة نفسها، تكون الأولوية للعناصر التي بقيت في قائمة الانتظار لأطول مدة.

فهرسة عنصر جديد أو معدَّل

يعرض الشكل 1 خطوات فهرسة عنصر جديد أو معدَّل باستخدام قائمة انتظار الفهرسة. تعكس هذه الخطوات طلبات REST API، وللحصول على مكافئاتها في حزمة تطوير البرامج (SDK)، يُرجى الاطّلاع على عمليات قائمة الانتظار (حزمة تطوير البرامج للموصل).

نظرة عامة على فهرسة Cloud Search
الشكل 1. خطوات الفهرسة لإضافة عنصر أو تعديله
  1. يستخدم موصّل المحتوى items.push لنقل البيانات الوصفية والتجزئة إلى قائمة انتظار.
    • إذا كان الموصل يتضمّن عملية إرسال type أو contentHash، يحدّد Cloud Search الحالة.
    • تتلقّى العناصر غير المعروفة الحالة NEW_ITEM.
    • ستبقى العناصر الحالية التي تتضمّن تجزئات مطابقة ACCEPTED.
    • تصبح العناصر الحالية التي تتضمّن رموزًا مختلفة MODIFIED.
  2. تستخدم الوصلة items.poll لتحديد العناصر التي سيتم فهرستها. تعرض Cloud Search العناصر بترتيب الأولوية.
  3. يسترد الموصل العناصر من المستودع وينشئ طلبات بيانات من واجهة برمجة التطبيقات للفهرس.
  4. يستخدم الموصّل items.index لفهرسة العناصر. تنتقل السلعة إلى الحالة ACCEPTED بعد معالجتها بنجاح.

حذف عنصر

تستخدم استراتيجية التنقّل الكامل قائمتَي انتظار لفهرسة العناصر ورصد عمليات الحذف. يوضّح الشكل 2 عملية الانتقال الثانية في هذه الاستراتيجية.

نظرة عامة على فهرسة Cloud Search
الشكل 2. حذف العناصر
  1. أثناء عملية المسح الأولية، يدفع الموصل العناصر إلى "صفّ أ" على النحو التالي: NEW_ITEM. يتلقّى كل عنصر التصنيف "أ".
  2. يستطلع الموصل قائمة الانتظار (أ) ويفهرس العناصر.
  3. في عملية الاجتياز الكامل الثانية، تدفع أداة الربط العناصر إلى "قائمة الانتظار B".
    • تتلقّى العناصر غير المعروفة التصنيف "ب" والحالة NEW_ITEM.
    • يتم تغيير تصنيف العناصر الحالية التي تتضمّن تجزئة مطابقة إلى "B" وتبقى ACCEPTED.
    • يتم تغيير تصنيف العناصر الحالية التي تتضمّن رموزًا مختلفة إلى "ب" وتصبح MODIFIED.
  4. يستطلع الموصل قائمة الانتظار B ويفهرس العناصر.
  5. أخيرًا، يستدعي الموصل deleteQueueItems في قائمة الانتظار A. يؤدي ذلك إلى حذف جميع العناصر المفهرسة سابقًا والتي لا يزال لديها التصنيف "أ".
  6. في عمليات الاجتياز اللاحقة، يتم تبديل أدوار قائمتَي الانتظار.

عمليات قائمة الانتظار (حزمة تطوير البرامج (SDK) الخاصة بأداة الربط)

استخدِم أداة الإنشاء pushItems لإضافة عناصر. تسحب حزمة تطوير البرامج (SDK) تلقائيًا العناصر من قائمة الانتظار حسب ترتيب الأولوية باستخدام طريقة getDoc في الفئة Repository.

عمليات قائمة الانتظار (REST API)

  • لإرسال إشعار: استخدِم Items.push.
  • لإجراء استطلاع، استخدِم Items.poll.

يمكنك أيضًا استخدام Items.index لدفع العناصر أثناء الفهرسة. تتلقّى هذه العناصر الحالة ACCEPTED تلقائيًا.

Items.push

تضيف هذه الطريقة أرقام تعريف إلى قائمة الانتظار. يحدّد type النتيجة. يؤدي إرسال معرّف جديد إلى إضافة إدخال بالحالة NEW_ITEM. يتم عرض الحمولة الاختيارية أثناء الاستطلاع.

يتم حجز العناصر التي تم استطلاعها، ولا يمكن إرجاعها من خلال طلبات استطلاع أخرى. يؤدي استخدام Items.push مع ضبط type على NOT_MODIFIED أو REPOSITORY_ERROR أو REQUEUE إلى إلغاء حجز الإدخالات.

Items.push with hashes

تحديد البيانات الوصفية أو رموز التجزئة للمحتوى في طلب الإرسال يقارن Cloud Search هذه القيم بالقيم المخزّنة. إذا لم تتطابقا، سيصبح الإدخال MODIFIED. تصبح أرقام التعريف غير المتطابقة وغير المتوفّرة NEW_ITEM.

Items.poll

يستردّ هذا الإجراء الإدخالات ذات الأولوية العالية. يتم حجز كل إدخال تم إرجاعه إلى أن تنتهي مهلته أو تتم إعادة فهرسته أو يتم إلغاء حجزه باستخدام Items.push.