الثلاثاء 31 مارس 2026
إذا استمعت إلى الحلقة 105 من بودكاست Search Off the Record، ربما تكون قد سمعتنا نتعمّق في موضوع يهمّنا كثيرًا (ويهم خوادمنا)، وهو الأعمال الداخلية لـ Googlebot.
لطالما ارتبط الاسم "Googlebot" في الأذهان بصورة روبوت واحد لا يكلّ، يتصفّح الإنترنت بشكل منتظم. لكنّ الواقع أكثر تعقيدًا وأكثر إثارة للاهتمام. اليوم، نريد أن نكشف عن البنية الأساسية لبرنامج الزحف، مع التركيز بشكل خاص على ما يحيّرنا: قيود حجم البيانات بالبايت.
أولاً، Googlebot عبارة عن مجموعة من البرامج
لنصحّح أولاً تسمية خاطئة تاريخية. في أوائل العقد الأول من القرن الحالي، كان لدى Google منتج واحد، لذا كان لدينا زاحف واحد. وارتبط به الاسم "Googlebot". ولكن اليوم، أصبح Googlebot مجرد مستخدم لما يشبه منصة زحف مركزية.
عندما يظهر لك Googlebot في سجلّات الخادم، يعني ذلك أنّك تتصفّح "بحث Google". تستخدم عشرات الخدمات الأخرى، مثل Google Shopping وGoogle AdSense وغيرها، البنية الأساسية نفسها لتوجيه طلبات الزحف، ولكن بأسماء مختلفة لبرامج الزحف، ويمكنك الاطّلاع على الأسماء الأكبر حجمًا في موقع البنية الأساسية لبرامج الزحف من Google.
ما تأثير الحدّ الأقصى البالغ 2 ميغابايات في معالجة وحدات البايت؟
هنا تصبح الأمور مربكة بعض الشيء. على كل عميل من عملاء البنية الأساسية للزاحف ضبط بعض الإعدادات الخاصة بعمليات الجلب. تشمل هذه الإعدادات سلسلة وكيل المستخدم، والرموز المميزة لوكيل المستخدم التي سيبحثون عنها في ملف robots.txt، وعدد وحدات البايت التي سيتم جلبها من عنوان URL بعينه.
يجلب Googlebot حاليًا ما يصل إلى 2 ميغابايت لأي عنوان URL فردي (باستثناء ملفات PDF). وهذا يعني أنّه يزحف إلى أول 2 ميغابايت فقط من المورد، بما في ذلك عنوان HTTP. بالنسبة إلى ملفات PDF، الحدّ الأقصى هو 64 ميغابايت.
تتضمّن برامج الزحف إلى الصور والفيديوهات عادةً مجموعة كبيرة من القيم الحدّية، ويعتمد ذلك بشكل كبير على المنتج الذي يتم جلبه. على سبيل المثال، قد يكون الحدّ الأقصى لعمليات جلب الرموز المفضَّلة صغيرًا جدًا، على عكس ميزة "البحث بالصور".
بالنسبة إلى أي زاحف آخر لا يضبط حدًا أقصى، يكون الحدّ التلقائي هو 15 ميغابايت بغض النظر عن نوع المحتوى.
ما أثر ذلك في وحدات البايت التي يرسلها الخادم عبر الشبكة؟
-
الجلب الجزئي: إذا كان حجم ملف HTML أكبر من 2 ميغابايت، لن يرفض Googlebot الصفحة. بدلاً من ذلك، يتم إيقاف عملية الجلب عند الحدّ الأقصى البالغ 2 ميغابايت بالضبط. يُرجى العِلم أنّ الحدّ الأقصى يشمل عناوين
استجابة
طلبHTTP. - معالجة الجزء المقتطع: يتم نقل الجزء الذي تم تنزيله (أول 2 ميغابايت من وحدات البايت) إلى أنظمة الفهرسة و"خدمة العرض على الويب" (WRS) كما لو كان الملف كاملاً.
- وحدات البايت المتجاهَلة: يتم تجاهل أي وحدات بايت تظهر بعد الحدّ الأقصى البالغ 2 ميغابايت. ولا يتم جلبها أو عرضها أو فهرستها.
- إضافة الموارد: سيتم جلب كل مورد تتم الإشارة إليه في ملف HTML (باستثناء الوسائط والخطوط وبعض الملفات غير المألوفة) من خلال WRS باستخدام Googlebot، مثل ملف HTML الرئيسي. ويخصّ كلّ منها عدّاد بايت منفصل خاص به لكلّ عنوان URL، ولا يتم احتسابه ضمن حجم الصفحة الرئيسية.
بالنسبة إلى الغالبية العظمى من المواقع على الويب، تكون حمولة HTML بحجم 2 ميغابايت ضخمة، ولن تبلغ هذا الحدّ أبدًا. ومع ذلك، إذا كانت صفحتك تتضمّن صورًا مضخّمة مضمّنة في قاعدة 64، أو كتلًا كبيرة من CSS/JavaScript المضمّنة، أو تبدأ بوحدات ميغابايت من القوائم، قد يؤدي ذلك إلى تجاوز المحتوى النصي الفعلي أو البيانات المنظَّمة المُهمّة للحدّ الأقصى البالغ 2 ميغابايت. وإذا لم يتم جلب وحدات البايت المُهمّة هذه، لن يتعرّف عليها Googlebot.
عرض وحدات البايت
بعد أن يسترد الزاحف وحدات البايت (حتى الحدّ الأقصى)، ينقلها إلى نظام WRS. تعالج خدمة WRS محتوى JavaScript وتنفّذ الرمز البرمجي من جهة العميل بطريقة مشابهة للمتصفّحات الحديثة لفهم الحالة المرئية والنصية النهائية للصفحة. تسترجع عملية العرض ملفات JavaScript وCSS وتنفّذها، وتعالج طلبات XHR لفهم المحتوى النصي وبنية الصفحة بشكل أفضل (لا تطلب الصور أو الفيديوهات). بالنسبة إلى كل مورد مطلوب، ينطبق أيضًا الحدّ الأقصى البالغ 2 ميغابايت.
ومع ذلك، تذكَّر أنّ خدمة WRS يمكنها تنفيذ الرمز البرمجي الذي استرجعه الزاحف فقط. بالإضافة إلى ذلك، تعالج خدمة عرض الويب (WRS) كل طلب بشكل مستقل، فهي تمحو جميع البيانات المخزَّنة محليًا وبيانات الجلسة بعد كل طلب. وقد يكون لذلك تأثيرات معيّنة على كيفية تفسير أنظمتنا للعناصر الديناميكية التي تعتمد على JavaScript.
أفضل الممارسات المتعلّقة بوحدات البايت
لضمان قدرة Googlebot على جلب المحتوى وفهمه بكفاءة، يجب مراعاة أفضل الممارسات التالية على مستوى وحدات البايت:
- الحفاظ على خفّة ملفات HTML: يمكنك نقل ملفات CSS وJavaScript الكبيرة إلى ملفات خارجية. ومع أنّ حجم مستند HTML الأوّلي لا يتجاوز 2 ميغابايت، يتم جلب النصوص البرمجية وأوراق الأنماط الخارجية بشكل منفصل (مع مراعاة الحدود القصوى الخاصة بها).
-
الترتيب مهم: ضَع العناصر الأكثر أهمية،
مثل العلامات الوصفية وعناصر
<title>وعناصر<link>والصفحات الأساسية والبيانات المنظَّمة الأساسية، في موضع أعلى في مستند HTML. يضمن ذلك عدم العثور على أي نتائج تحت الجزء المقتطع. - مراقبة سجلّات الخادم: راقِب أوقات استجابة الخادم. إذا كان الخادم يواجه صعوبة في عرض وحدات البايت، ستتراجع برامج الزحف تلقائيًا لتجنّب تحميل البنية الأساسية عبئًا زائدًا، ما سيؤدي إلى انخفاض معدل الزحف.
يُرجى العِلم أنّ هذا الحدّ ليس ثابتًا وقد يتغيّر بمرور الوقت مع تطوّر الويب وزيادة حجم صفحات HTML. (أو انخفاض حجمها. نأمل ذلك).
الزحف ليس سحرًا، بل هو عملية تبادل منظَّمة وموسّعة للغاية لوحدات البايت. من خلال فهم طريقة استرجاع وحدات البايت وتحديدها في البنية الأساسية المركزية لجلب المحتوى، يمكنك التأكّد من أنّ المحتوى الأكثر أهمية في موقعك الإلكتروني يظهر دائمًا.
نتمنى لك التوفيق في عمليات التحسين
هل تريد معرفة المزيد من التفاصيل من وراء الكواليس؟ يمكنك الاطّلاع على الحلقة 105 من بودكاست Search Off the Record على YouTube أو في أي مكان تتوفّر فيه ملفات البودكاست.