معلومات يجب معرفتها عن زحف Google إلى الويب

يزحف محرّك بحث Google على الويب المفتوح منذ أكثر من 30 عامًا، ونتلقّى بانتظام أسئلة حول طريقة عمل زواحف الويب الخاصة بنا. للإجابة عن بعض هذه الأسئلة، إليك تفاصيل حول برامج زحف Google وفائدتها في تنظيم المعلومات من جميع أنحاء العالم وربط المستخدمين بالمحتوى على الويب.

ما هو الزحف؟ باختصار، الزحف هو الطريقة التي "يرى" بها محرّك بحث Google الويب

الزحف هو عملية استخدام برامج آلية لاكتشاف صفحات الويب الجديدة وفهمها. بهذه الطريقة، عندما تبحث على Google عن صفحة ويب، نعرف أنّها متوفرة ويمكننا تضمينها في نتائج البحث. تعتمد جميع محرّكات البحث على الزحف لمعرفة الصفحات والمعلومات المتوفّرة على الإنترنت. لمزيد من المعلومات، يمكنك مشاهدة الفيديو حول طريقة زحف "بحث Google" إلى الصفحات.

لدينا العديد من برامج الزحف، ولكل منها وظائف مهمة

‫Googlebot هو الزاحف الأكثر شهرة لدينا، ونستخدمه للحفاظ على حداثة النتائج على "بحث Google". لدينا أيضًا برامج زحف مخصّصة لمساحات العرض الأخرى، مثل "صور Google" وGoogle Shopping. نوفّر مستندات كاملة حول برامج الزحف الأكثر شيوعًا والغرض من كلّ منها. تستخدم برامج الزحف لدينا أسماء وكلاء مستخدمين يسهل التعرّف عليها وعناوين إنترنت معروفة. بهذه الطريقة، يمكن لمالكي المواقع الإلكترونية الاطمئنان إلى أنّ برامج زحف Google التي يرونها موثوقة.

نُجري عمليات زحف متكرّرة للعثور على آخر التغييرات وتقديم أحدث نتائج بحث

للعثور على مقالات الأخبار العاجلة، قد نعيد الزحف إلى الصفحات الرئيسية للأخبار كل بضع دقائق. في حالات أخرى، قد نلاحظ أنّه لم يحدث أي تغيير لسنوات، لذا قد ننتظر شهرًا قبل إعادة الزحف. يمكن لمالكي المواقع الإلكترونية التأثير في وتيرة إعادة الزحف باستخدام ملفات خرائط الموقع التي تخبرنا بالصفحات الجديدة والمعدّلة.

إنّ الزحف المتكرّر هو علامة جيدة

إذا كنّا نزحف إلى موقعك الإلكتروني بشكل متكرّر، هذا يعني أنّ صفحاتك تتضمّن محتوًى جديدًا أو ذا صلة وثيقة بطلبات بحث المستخدمين، وأنّ أنظمتنا تدرك هذا الطلب. تُعدّ تجربة التسوّق على الإنترنت مثالاً رائعًا على ذلك، إذ إنّنا نزحف إلى مواقع التجارة الإلكترونية بشكل متكرّر لكي تعرض نتائجنا أحدث الأسعار والعروض الترويجية وحالة المخزون لدى تجار التجزئة.

تطوّرت عملية الزحف التي تجريها Google بمرور الوقت مع ازدياد تعقيد الصفحات

هناك سبب آخر لإعادة الزحف بشكل متكرر، وهو أن نفهم بالكامل المحتوى الغني لصفحة الويب وما تقدّمه. تستخدم برامج الزحف لدينا تقنية تُعرف باسم العرض، وهي تحمّل الموقع الإلكتروني بالكامل "لرؤية" الصفحة بالطريقة نفسها التي يراها بها المستخدم. على مر السنين، أصبحت صفحات الويب أكثر تطورًا، فقد زاد حجم متوسط صفحة الويب على الأجهزة الجوّالة من 816 كيلوبايت إلى 2.3 ميغابايت، وأصبحت تتضمّن الآن أكثر من 60 ملفًا مختلفًا لتحميله، بدءًا من الصور ووصولاً إلى المكوّنات التفاعلية. لذلك، للحصول على لقطة تمثيلية لصفحة ويب بكل تفاصيلها، قد نحتاج إلى الزحف إلى الصفحة نفسها عدة مرات، أو أكثر، لأنّه تتم إضافة عناصر جديدة باستمرار.

نعمل على تحسين الزحف تلقائيًا

تم تصميم برامج الزحف لدينا لتكون فعّالة، وهي تضبط نفسها تلقائيًا للحدّ من تأثيرها على مالكي المواقع الإلكترونية. على سبيل المثال، عندما يصبح الموقع الإلكتروني بطيئًا أو يعرض أخطاءً، يتغيّر معدّل الزحف تلقائيًا لتجنُّب تحميل عبء زائد على خوادم الموقع الإلكتروني. نحاول الحدّ من الزحف غير الضروري من خلال التخزين المؤقّت للمحتوى الذي تم الزحف إليه. وعندما تكتشف برامج الزحف لدينا المزيد من محتوى موقع إلكتروني، تصبح قادرة أيضًا على التعرّف على الأقسام التي يمكن تغطيتها بعمليات زحف أقل. مثلاً، ما من حاجة إلى الزحف بالكامل إلى التقاويم التي تصل إلى العام 9999. يمكن لمالكي المواقع الإلكترونية المساعدة من خلال تحديد المحتوى الذي لا يتطلب زحفًا، ما يوفّر عليهم الأموال من خلال خفض تكاليف البنية الأساسية، ويجعل الإنترنت أكثر فعالية بشكل عام.

لا تزحف برامج الزحف من Google مطلقًا إلى المحتوى المحمي بحاجز دفع أو المحتوى المتاح للمشتركين فقط، إذا لم تحصل على إذن بذلك

بشكل تلقائي، إذا لم يكُن من الممكن الوصول إلى صفحة على الويب المفتوح (مثلاً إذا كان المحتوى محميًا بصفحة تسجيل دخول)، لن تتمكّن الزواحف من الوصول إليها أيضًا. لدينا إرشادات خاصة بمالكي المواقع الإلكترونية إذا أرادوا منح Google إذنًا صريحًا بالوصول إلى صفحات الاشتراك (مثلاً لكي يتمكّن Google من توجيه المستخدمين إلى ذلك المحتوى). إذا اخترت منح برامج الزحف إذن الوصول إلى المحتوى المحمي باشتراك، يمكنك استخدام البيانات المنظَّمة لمواصلة عرض شاشة تسجيل الدخول للزوّار بدون أن يؤدي ذلك إلى مخالفة قواعدنا المتعلقة بالمحتوى غير المرغوب فيه. ويمكنك منع المحتوى المحمي باشتراك من الظهور في معاينات الصفحات من خلال الاستفادة من عناصر التحكّم في المعاينة.

يتحكّم مالكو المواقع الإلكترونية في المحتوى الذي يتم الزحف إليه وطريقة الزحف

نلتزم بمعايير الويب المفتوحة، مثل robots.txt، وهو ملف نصي بسيط يتيح لمالكي المواقع الإلكترونية تحديد كيفية تفاعل برامج الزحف، مثل زواحفنا، مع صفحاتهم. إنّ ملف robots.txt، إلى جانب العلامات الوصفية لبرامج الروبوت، يساعد المواقع الإلكترونية في إبلاغ Google والخدمات الأخرى بسهولة بكيفية الوصول إلى محتواها. يمكن لمالكي المواقع حظر ظهور الصفحات في "بحث Google". وباستخدام خرائط الموقع، يمكنهم إطلاعنا على المحتوى الجديد الذي يريدون منّا أن نزحف إليه. ويمكنهم التحكّم في وتيرة زحفنا إلى مواقعهم الإلكترونية من خلال ميزانية الزحف.

تتقيّد زواحفنا العادية دومًا بخيارات المواقع الإلكترونية بشأن كيفية الوصول إلى محتواها واستخدامه

بعد الزحف، قد نستخدم البيانات التي تم الزحف إليها عدة مرات للحد من الحاجة إلى تكرار الطلبات غير الضرورية على المواقع الإلكترونية. وحتى عندما نعيد استخدام هذه البيانات، نواصل احترام الخيارات التي تتخذها المواقع الإلكترونية من خلال ملف robots.txt وعناصر التحكّم التي نوفّرها من خلال بروتوكول الويب المفتوح هذا. على سبيل المثال، يمكن للمواقع الإلكترونية استخدام Google-Extended في ملف robots.txt للتحكّم في ما إذا كان محتواها يساعد في تدريب الإصدارات المستقبلية من نماذج Gemini، وغير ذلك. لا يؤثّر استخدام Google-Extended في ظهور موقع إلكتروني معيّن ضمن نتائج "بحث Google"، ولا نستخدمه كمؤشر ترتيب.

نزوّد مالكي المواقع الإلكترونية بالعديد من الأدوات لنتيح لهم إدارة تجربة الزحف من Google، بما في ذلك Google Search Console، وهي خدمة متاحة مجانًا لهم. تقدّم هذه الخدمة معلومات عن مقدار المحتوى الذي زحفنا إليه وسبب ذلك. وهي تساعد المواقع الإلكترونية أيضًا في تشخيص المشاكل، مثل توقُّف الخادم أو مشاكل السرعة. بالإضافة إلى ذلك، تقدّم خدمة Search Console معلومات شاملة حول كيفية ظهور صفحات الموقع الإلكتروني في "بحث Google" وكيفية تفاعل المستخدمين معها.

تساعد برامج الزحف الخاصة بنا المستخدمين في الوصول إلى أفضل المحتوى على الويب، ونحن نبحث دائمًا عن طرق لجعلها أكثر فعالية وكفاءة.