مشاكل الفهرسة: طريقة محرّك بحث Google في تجاوز مشاكل الفهرسة والدروس المستخلَصة

الاثنين 12 آب (أغسطس) 2019

يعمل محرك بحث Google بشكل صحيح في معظم الأوقات. وتبذل فِرقنا قصارى جهدها لمنع حدوث مشاكل فنية قد تؤثر سلبًا في تجربة مستخدمي محرك البحث، أو مشرفي المواقع التي نعمل على فهرستها وعرضها للمستخدمين. وبالمثل، إنّ الأنظمة الأساسية المستخدمة لتشغيل محرك البحث تعمل على النحو المطلوب في معظم الأوقات. وعند حدوث أعطال طفيفة، غالبًا ما تكون غير مرئية لجميع المستخدمين، باستثناء فِرقنا التي تضمن استمرار عمل المنتجات. وفي أي نظام معقّد، من الطبيعي أن تتعرض الخدمة أحيانًا لانقطاعات كبيرة التأثير، ما قد يعيق عمل المستخدمين ومنشئي المواقع الإلكترونية على حد سواء.

في الأشهر القليلة الماضية، واجهت أنظمة الفهرسة الخاصة بنا حالة انقطاع مماثلة، ما انعكس أيضًا على أجزاء أخرى من بنيتنا الأساسية. ولقد حرصنا على حل المشكلة في أسرع وقت ممكن، إلا أنّنا نأسف لحدوث هذا الانقطاع في الخدمة إذ إنّ هدفنا هو توفير منتجات عالية الجودة بشكل متواصل للمستخدمين ومنظومة الويب المتكاملة.

منذ ذلك الحين، واصلنا التحقيق في المشكلة بعناية، ويسرّنا أن نشاركك اليوم بعض الدروس المستخلَصة من هذه التجربة. في مشاركة المدونة هذه، سنتحدّث بالتفصيل عن المشكلة، وسنوضّح التحسينات التي سنجريها على استراتيجية التواصل في المستقبل، وسنذكّر مالكي المواقع الإلكترونية بالقنوات التي يمكنهم استخدامها للتواصل معنا.

ما الذي حدث قبل بضعة أشهر؟

واجهنا في شهر نيسان (أبريل) عدة مشاكل في الفهرس. وفهرس "بحث Google‏" هو قاعدة البيانات التي تضم مئات المليارات من صفحات الويب التي تم الزحف إليها ونعتقد أنّها قد تجيب عن بعض استفسارات المستخدمين. عندما يُدخل المستخدم طلب بحث في محرك بحث Google، تعمل خوارزميات ترتيب نتائج البحث على تنظيم هذه الصفحات في فهرس "بحث Google‏" للعثور على النتائج الأكثر فائدة وصلة بطلب البحث في أقل من ثانية. في ما يلي مزيد من المعلومات عن المشكلة.

1. مشكلة الفهرسة

ما حصل أولاً هو أنّنا فقدنا جزءًا من فهرس "بحث Google‏" بصورة مؤقتة.

إنّك تتساءل بالطبع عمّا يعنيه ذلك وما إذا كان هذا الأمر ممكنًا.

بشكل عام، لتسريع عملية عرض نتائج البحث، يتم إرسال طلب البحث الذي أجراه المستخدم إلى أقرب مركز بيانات يستخدمه محرك بحث Google وحيث يتم إنشاء صفحة نتائج محرك البحث (SERP). بالتالي، إذا طرأ أي تغيير على مضمون الفهرس (مثلاً، إضافة وإزالة صفحات، ودمج مستندات، وغيره)، يجب تطبيق هذه التغييرات على كل مراكز البيانات. وهذا ما يضمن لنا دومًا عرض صفحات من أحدث نسخة من الفهرس لجميع المستخدمين في كل أنحاء العالم.

‫تملك Google وتدير مراكز البيانات في جميع أنحاء العالم (مثل المركز في الصورة أعلاه)، وذلك لضمان عمل منتجاتنا على مدار الساعة وطيلة أيام الأسبوع.
تملك Google وتدير مراكز البيانات في جميع أنحاء العالم (مثل المركز في الصورة أعلاه)، وذلك لضمان عمل منتجاتنا على مدار الساعة وطيلة أيام الأسبوع. (المصدر)

ليس من السهل الحفاظ على فهرس موحّد بين مختلف مراكز البيانات هذه. بالنسبة إلى الخدمات الواسعة النطاق والتي يتفاعل معها المستخدمون، يمكن أن نبدأ بتطبيق التعديلات على مركز بيانات واحد ونواصل هذا الإجراء حتى تصبح جميع مراكز البيانات محدّثة. أمّا في ما يتعلق بالأجزاء الحساسة في البنية الأساسية، فقد نمدّد مرحلة تعديل البيانات لأيام متعددة ونستبدل هذه الأجزاء تدريجيًا في مناطق جغرافية مختلفة. المصدر.

عندما بدأنا في 5 نيسان (أبريل) تطبيق بعض التغييرات المخطَّط لها مسبقًا على فهرس "بحث Google‏"، تعطّلت أجزاء من نظام تطبيق التعديلات. على وجه الخصوص، أثناء تعديل الفهرس في بعض مراكز البيانات، تم إسقاط بعض الصفحات منه عن طريق الخطأ. ومن هنا جاءت عبارة "فقدنا جزءًا من الفهرس".

لحسن الحظ، تمكّن مهندسون يعملون تحت الطلب من رصد هذه المشكلة بسرعة، وفي الوقت نفسه، بدأت تصلنا إشعارات في هذا الشأن على وسائل التواصل الاجتماعي (شكرًا لكل من أعلمنا بالأمر في نهاية ذلك الأسبوع). نتيجةً لذلك، استطعنا أن نعيد فهرس "بحث Google‏" إلى حالته المستقرة في كل مراكز البيانات في غضون ساعات قليلة بعد الكشف عن المشكلة (نحتفظ بنُسخ احتياطية تحسّبًا لأحداث مماثلة).

أعلنّا يوم الأحد في 7 نيسان (أبريل) أنّنا على علم بالمشكلة وأنّ الأمور بدأت تعود إلى مسارها الطبيعي. بينما كنّا نعيد الاستقرار تدريجيًا إلى فهرس مراكز البيانات، استمررنا في مشاركة أي جديد على Twitter (في 8 نيسان/أبريل و9 نيسان/أبريل) حتى تأكّدنا من استعادة جميع مراكز البيانات للنسخة الكاملة من الفهرس في 11 نيسان (أبريل).

2. مشكلة Search Console

تضم خدمة Search Console الأدوات والتقارير التي يمكن لأي مشرف موقع استخدامها للاطّلاع على بيانات حول أداء موقعه الإلكتروني في "بحث Google‏". على سبيل المثال، تعرض الخدمة عدد مرات الظهور والنقرات التي حصدها الموقع الإلكتروني في نتائج البحث المجاني كل يوم، أو معلومات عن صفحات الويب التي تم تضمينها أو استبعادها من فهرس "بحث Google".

ونتيجةً للمشكلة التي حدثت في فهرس "بحث Google‏" والموضّحة أعلاه، بدأت أيضًا خدمة Search Console تعرض بيانات غير متسقة. ويعود السبب إلى أنّ فهرس "بحث Google‏" هو مصدر بعض البيانات المعروضة في Search Console:

  • لكي يعرض تقرير "تغطية الفهرسة" بيانات دقيقة، يجب أن تتضمن جميع مراكز البيانات فهرسًا موحدًا في "بحث Google‏".
  • عندما نحفظ صفحة ما في فهرس "بحث Google‏"، يمكن أن نضيف إليها علامات توضيحية، مثلاً للإشارة إلى أنّ الصفحة تتضمن ترميزًا للنتائج الغنية بصريًا. لذلك، قد تؤثر المشاكل التي تحدث في فهرس "بحث Google" في تقارير النتائج الغنية بصريًا ضمن Search Console.

بشكل عام، تكون البيانات في العديد من تقارير Search Console الفردية مستخرَجة من قاعدة بيانات مخصصة. ويتكوّن جزء من قاعدة البيانات هذه من المعلومات الصادرة من فهرس "بحث Google‏". كان علينا إعادة نسخة سابقة من فهرس "بحث Google‏"، لذلك اضطررنا أيضًا إلى إيقاف عملية التعديل مؤقتًا في قاعدة بيانات Search Console. نتيجةً لذلك، أصبحت بيانات بعض التقارير ثابتة (وغير موثوقة في تقارير أخرى، مثل أداة فحص عنوان URL).

يظهر أعلاه تقرير‫ "تغطية الفهرسة"لصفحات مفهرسة ويقدّم مثالاً على مشاكل حداثة البيانات التي جرت في خدمة Search Console خلال شهر نيسان (أبريل) 2019، إذ استغرقت عملية التحديث فترة أطول من المعتاد.
يظهر أعلاه تقرير "تغطية الفهرسة" لصفحات مفهرسة ويقدّم مثالاً على مشاكل تعديل البيانات التي حدثت في خدمة Search Console خلال شهر نيسان (أبريل) 2019، إذ استغرق التعديل فترة أطول من المعتاد.

استغرقت معالجة مشكلة فهرس "بحث Google‏" عدة أيام (يُرجى مراجعة الشرح أعلاه)، لذلك لم نتمكن من إصلاح قاعدة بيانات Search Console إلّا بعد مرور بضعة أيام على حلّ مشاكل الفهرسة. أعلنّا عبر تغريدة في 15 نيسان (أبريل) أنّ هناك مشاكل في خدمة Search Console ونعمل على حلّها، وانتهينا من معالجة جميع المشاكل في 28 نيسان/أبريل (أي اليوم الذي بدأت فيه التقارير بجمع بيانات حديثة من جديد كما هو موضّح في الرسم البياني أعلاه). أعلنّا عبر Twitter في 30 نيسان (أبريل) أنّنا عالجنا المشكلة. (التغريدة)

3. مشاكل أخرى غير متعلقة بالخلل الرئيسي في الفهرسة

يعتمد محرك بحث Google على مجموعة من الأنظمة المتكاملة. وبعض هذه الأنظمة ترتبط ببعضها بشكل وثيق، إلا أنّه في بعض الأحيان قد تواجه أجزاء مختلفة من النظام مشاكل منفصلة في الوقت نفسه تقريبًا.

على سبيل المثال، تزامنًا مع الخلل الأساسي في الفهرسة (الموضَّح أعلاه)، واجهنا أيضًا مشاكل لفترات وجيزة في "أخبار Google‏"، إذ توقفت هذه الخدمة عن جمع محتوى حديث. بالإضافة إلى ذلك، عند عرض صفحات للمستخدمين، بدأت بعض عناوين URL تعيد توجيه Googlebot إلى صفحات غير مرتبطة بطلب البحث. لم تكُن هاتان المشكلتان مرتبطَتين إطلاقًا بالخلل في الفهرسة، وتمّت معالجتهما بسرعة (التغريدة الأولى والتغريدة الثانية).

التحسينات التي نريد إجراءها على استراتيجية التواصل

بالإضافة إلى مشاركة آخر الأخبار على وسائل التواصل الاجتماعي (كما ذكرنا أعلاه) خلال تلك الأسابيع، زوّدنا مشرفي المواقع أيضًا بمزيد من التفاصيل من خلال خدمة Search Console ومركز مساعدة Search Console.

في مركز مساعدة Search Console

عدّلنا صفحة المساعدة "القيم الشاذّة في بيانات Search Console‏" بعد أن كشفنا عن المشكلة كاملةً. تُستخدَم هذه الصفحة لمشاركة معلومات حول أعطال البيانات التي تحدث في خدمة Search Console والتي تؤثر في عدد كبير من مالكي المواقع الإلكترونية.

في Search Console

ندرك أنّ بعض المستخدمين لا يتابعون أخبارنا على وسائل التواصل الاجتماعي أو في صفحة مركز المساعدة الخارجية، لذلك أضفنا أيضًا تعليقات توضيحية إلى تقارير Search Console لتنبيه المستخدمين بأنّ البيانات قد تكون غير دقيقة (كما هو موضّح في الصورة أدناه). وتمّت إضافة هذه المعلومات بعد إصلاح الخلل. بإمكان المستخدمين النقر على "الاطّلاع على مزيد من التفاصيل" للانتقال إلى صفحة "القيم الشاذة في البيانات" في مركز المساعدة.

‫يظهر أعلاه تقرير "تغطية الفهرسة" لصفحات مفهرسة ويقدّم مثالاً على التعليقات التوضيحية التي يمكن أن نضيفها لتنبيه المستخدمين بشأن مشاكل محدّدة في البيانات.
يظهر أعلاه تقرير "تغطية الفهرسة" لصفحات مفهرسة ويقدّم مثالاً على التعليقات التوضيحية التي يمكن أن نضيفها لتنبيه المستخدمين بشأن مشاكل محدّدة في البيانات.

استراتيجية التواصل الجديدة

بعد حدوث مشاكل في Google، نحرص دائمًا على إنشاء تقرير استقصائي يطرح أسئلة حول المشكلة المعنيّة، ونحاول تفادي حدوث المشكلة نفسها في المستقبل. يمكنك الاطّلاع على تفاصيل هذا الإجراء في الموقع الإلكتروني "هندسة الموثوقية الخاصة بمواقع Google‏".

إثر مشاكل الفهرسة التي حدثت في نيسان (أبريل)، ضمّنا في التقرير الاستقصائي طرقًا لتحسين استراتيجية التواصل مع مشرفي المواقع عند حدوث مشاكل كبيرة التأثير في النظام. وأهم قراراتنا هي التالية:

  1. استكشاف وسائل لمشاركة معلومات بطريقة أسرع ضمن خدمة Search Console بشأن أي خلل واسع النطاق، وإتاحة هذه المعلومات لمشرفي المواقع لاستخدامها كنقطة مرجعية عند الاشتباه بحدوث انقطاع في الخدمة
  2. نشر المعلومات بشكل أسرع على صفحة "القيم الشاذة في بيانات Search Console‏" عندما يكون ذلك مناسبًا (إذا كان لهذا الخلل تأثير طويل الأمد في بيانات Search Console)
  3. مواصلة مشاركة التغريدات بأسرع وقت ممكن لطمأنة مشرفي المواقع بأنّنا على علم بحدوث مشكلة في نظامنا

نأمل أن تساعدنا هذه الالتزامات في التعامل مع مشرفي المواقع بمزيد من الشفافية عند حدوث حالات مماثلة في المستقبل.

تطبيق قراراتنا: دراسة الحالة "تعذُّر فهرسة عنواين URL الجديدة"

في 22 أيار (مايو)، حدثت مشكلة مماثلة، ما سمح لنا باختبار استراتيجية التواصل الجديدة. إليك تفاصيل المشكلة: أثناء معالجة عناوين URL معيّنة، نفذت المساحة في نظام إدارة البيانات المتكررة بعد إجراء عملية ترقية للبنى التحتية كان مخطَّط لها، ما تسبب في إيقاف معالجة جميع عناوين URL الجديدة.

في ما يلي المخطط الزمني لاستراتيجية التواصل بما يتوافق مع قراراتنا الثلاثة الموضّحة أعلاه:

  1. رصدنا المشكلة (في 22 أيار/مايو حوالي الساعة 5:30 صباحًا بتوقيت كاليفورنيا).
    أعلنّا في تغريدة أن المشكلة مستمرة (في 22 أيار/مايو حوالي الساعة 6:40 صباحًا بتوقيت كاليفورنيا).
    أعلنّا في تغريدة أنّه تم حل المشكلة (في 22 أيار/مايو حوالي الساعة 10:00 مساءً بتوقيت كاليفورنيا).
  2. بحثنا في احتمال تعديل صفحة "القيم الشاذّة في البيانات" في مركز المساعدة، لكنّنا تراجعنا عن الفكرة، إذ لم نتوقع أي تأثير بعيد الأمد في بيانات Search Console لدى معظم مشرفي المواقع.
  3. سبّبت هذه المشكلة الإرباك للعديد من المستخدمين، ما أثبت لنا صحة الخلاصات التي توصّلنا إليها سابقًا، وهي أنّنا نحتاج إلى طريقة أوضح للإعلان عن الأعطال المحتملة في أنظمتنا والتي قد تؤثر في مشرفي المواقع. وقد يستغرق تطبيق هذا الحل مدّة أطول من المعتاد. سنتشارك معك في المستقبل معلومات إضافية عن هذا الموضوع عند توفّرها.

في الأسبوع الماضي، حدثت مشكلة أخرى في الفهرسة. تمامًا كما فعلنا في 22 أيار (مايو)، نشرنا تغريدات لإعلام المستخدمين بالتالي تباعًا: حدوث المشكلة، وعمل فِرقنا على حلّها، والنجاح في معالجتها.

كيفية تصحيح الأخطاء والتواصل معنا

نأمل أن توضّح لك هذه المشاركة مدى تعقيد أنظمتنا وأنّها قد تتعرض للأعطال أحيانًا، وأن تساعدك في فهم استراتيجية التواصل التي نتّبعها في هذه الحالات. تركّز هذه المشاركة على أعطال النظام الواسعة النطاق، إلا أنّه يهمّنا تذكيرك أنّ معظم مشاكل الفهرسة التي تحدث على المواقع الإلكترونية تكون نتيجة خلل في إعدادات الموقع الإلكتروني، ما قد يمنع محرك بحث Google من فهرسة ذلك الموقع بالشكل الصحيح. في هذه الحالات، بإمكان جميع مشرفي المواقع أن يستعينوا بكل من Search Console ومركز المساعدة لتصحيح الأخطاء. في حال ما زلت تعتقد أنّ المشكلة ليست مرتبطة بموقعك الإلكتروني ولا تعرف كيفية حلّها، يمكنك التواصل معنا ومع منتدانا إذ يسرّنا دائمًا معرفة ملاحظات المستخدمين. لإعلامنا بمشكلة تحدث على موقعك الإلكتروني:

  • راجِع منتدى دعم مشرفي المواقع الخاص بنا، فربما سبق لمشرفي مواقع آخرين أن أشاروا إلى المشكلة نفسها.
  • انضم إلينا في الفعاليات لإعلامنا بالمشكلة التي تحدث على موقعك الإلكتروني، فسيسرّنا التحدّث إليك شخصيًا.
  • استخدِم منتجاتنا لإبلاغنا عن المشكلة، فأداة إرسال الملاحظات في Search Console مفيدة للغاية لفِرقنا.
  • تواصَل معنا عبر Twitter وYouTube.