دمج عناوين URL المكرّرة

إذا كانت لديك صفحة واحدة يمكن الوصول إليها من خلال عدة عناوين URL أو كانت لديك صفحات مختلفة تتضمّن محتوًى مماثلاً (على سبيل المثال، صفحة تحتوي على إصدار مخصّص للأجهزة الجوّالة وإصدار مخصّص لأجهزة الكمبيوتر)، يرى محرك البحث Google تلك الصفحات على أنها إصدارات مكرّرة من الصفحة نفسها. سيختار محرك البحث Google عنوان URL واحدًا ليكون الإصدار الأساسي ويزحف إليه، وستُعتبر جميع عناوين URL الأخرى عناوين مكرّرة وسيتم الزحف إليها بمعدّل أقل.

إذا لم تُعلم محرك البحث Google بعنوان URL الأساسي بوضوح، سيحدّد هو الخيار المناسب نيابة عنك، أو قد يعتبر الخياريَن متساويَين في الترجيح، ما قد يؤدي إلى سلوك غير مرغوب فيه، كما هو موضّح في القسم لماذا يجب اختيار عنوان URL أساسي؟

الآلية التي يتّبعها Googlebot لفهرسة عنوان URL الأساسي واختياره

عندما يفهرس Googlebot موقعًا إلكترونيًا، يحاول تحديد المحتوى الأساسي في كل صفحة. وإذا عثر Googlebot على عدة صفحات تبدو متشابهة على الموقع الإلكتروني نفسه، يختار الصفحة التي يعتقد أنها الأكثر اكتمالاً والتي تتضمّن معلومات مفيدة ويحددها على أنها الصفحة الأساسية. وسيزحف محرك البحث Google إلى الصفحة الأساسية بشكلٍ منتظم، بينما يزحف إلى الصفحات المكرّرة بمعدّل أقل للتخفيف من حِمل الزحف على موقعك الإلكتروني.

ويختار محرك البحث Google الصفحة الأساسية استنادًا إلى عدة عوامل (أو إشارات)، مثل ما إذا كانت الصفحة معروضة على HTTP أو HTTPS وجودة الصفحة وتوفّر عنوان URL في ملف Sitemap، بالإضافة إلى أيّ تصنيف rel=canonical. ويمكنك إبلاغ محرك البحث Google بالصفحة التي تفضّلها باستخدام هذه الطرق، ولكنه قد يختار صفحة أساسية أخرى لأسباب مختلفة.

لا تُعدّ النُسخ بلغات مختلفة لصفحة واحدة نُسخًا مكرّرة إلّا إذا كان المحتوى الرئيسي باللغة نفسها (أي إذا لم تتمّ ترجمة سوى الرأس والتذييل وغيرهما من النصوص غير المهمة وبقي النص الأساسي كما هو، عندها تُعدّ الصفحات مكرّرة).

يستخدم محرك البحث Google الصفحات الأساسية كمصادر رئيسية لتقييم المحتوى والجودة. وتشير عادةً نتيجة البحث من Google إلى الصفحة الأساسية، إلّا إذا كان واضحًا أنّ إحدى النُسخ المكرّرة تناسب مستخدم ما على نحو أفضل. على سبيل المثال، من المرجّح أن تشير نتيجة البحث إلى صفحة متوافقة مع الأجهزة الجوّالة إذا كان الجهاز المستخدَم هو جهازًا جوّالاً حتى إذا تم تصنيف الصفحة المتوافقة مع أجهزة الكمبيوتر على أنها الصفحة الأساسية.

الأسباب الوجيهة للاحتفاظ بالصفحات المشابهة أو المكرّرة

هناك أسباب وجيهة تبرّر احتواء موقعك الإلكتروني على عناوين URL مختلفة تشير إلى الصفحة نفسها أو أن يشتمل على صفحات مكرّرة أو متشابهة جدًا على عناوين URL مختلفة. وفي ما يلي الأسباب الأكثر شيوعًا:

  • التوافق مع عدة أنواع من الأجهزة:
    https://example.com/news/koala-rampage
    https://m.example.com/news/koala-rampage
    https://amp.example.com/news/koala-rampage
  • تفعيل عناوين URL ديناميكية لعناصر مثل معلَمات البحث أو معرّفات الجلسات:
    https://www.example.com/products?category=dresses&color=green
    https://example.com/dresses/cocktail?gclid=ABCD
    https://www.example.com/dresses/green/greendress.html
  • إذا كان نظام مدوّنتك يحفظ عدة عناوين URL تلقائيًا عند إضافة المشاركة نفسها ضمن أقسام متعددة:
    https://blog.example.com/dresses/green-dresses-are-awesome/
    https://blog.example.com/green-things/green-dresses-are-awesome/
  • إذا تم إعداد الخادم لعرض المحتوى نفسه للصيغ المزوّدة بالبادئة www أو بدونها، أو التي تتضمّن http/https:
    http://example.com/green-dresses
    https://example.com/green-dresses
    http://www.example.com/green-dresses
    
  • إذا كنت توفّر محتوى على مدوّنة لمشاركته على مواقع أخرى وتم نسخه كلّه أو جزء منه على هذه النطاقات:
    https://news.example.com/green-dresses-for-every-day-155672.html (المشاركة المقتبسة) https://blog.example.com/dresses/green-dresses-are-awesome/3245/ (المشاركة الأصلية)

لماذا يجب اختيار عنوان URL أساسي؟

هناك عدة أسباب قد تدفعك إلى اختيار صفحة أساسية بشكل صريح ضمن مجموعة من الصفحات المكرّرة أو المتشابهة:

  • تحديد عنوان URL الذي تريد أن يراه المستخدمون في نتائج البحث: ربما تفضّل أن يصل المستخدمون إلى صفحة الفساتين الخضراء من خلال https://www.example.com/dresses/green/greendress.html بدلاً من https://example.com/dresses/cocktail?gclid=ABCD.
  • دمج إشارات الروابط للصفحات المشابهة أو المكرّرة: يساعد هذا الإجراء محرّكات البحث في دمج المعلومات المتوفرة لديها بخصوص عناوين URL الفردية (مثل الروابط المؤدية إليها) في عنوان URL واحد مفضّل. بعبارة أخرى، يتم دمج الروابط التي تؤدي إلى http://example.com/dresses/cocktail?gclid=ABCD من مواقع إلكترونية أخرى مع الروابط التي تؤدي إلى https://www.example.com/dresses/green/greendress.html.
  • تبسيط مقاييس التتبّع لمنتج واحد أو موضوع واحد: مع توفّر مجموعة متنوعة من عناوين URL، قد يصعب الحصول على مقاييس موحّدة لنوع محدد من المحتوى.
  • إدارة المحتوى المقتبَس: إذا كنت تشارك المحتوى الخاص بك لنشره على نطاقات أخرى، ننصحك بالتأكد من ظهور عنوان URL المفضّل لديك في نتائج البحث.
  • تجنُّب قضاء وقت في الزحف إلى الصفحات المكرّرة: السيناريو الأمثل هو أن يستفيد Googlebot إلى أقصى حدّ من موقعك الإلكتروني، لذا من الأفضل له أن يقضي الوقت في الزحف إلى صفحات جديدة (أو معدّلة) على موقعك الإلكتروني بدلاً من الزحف إلى الإصدارات المخصّصة لأجهزة الكمبيوتر والإصدارات المخصّصة للأجهزة الجوّالة من الصفحات نفسها.

معرفة الصفحة التي يعتبرها محرّك البحث Google أساسية

يمكنك استخدام أداة فحص عنوان URL لمعرفة الصفحة التي يعتبرها محرّك البحث Google أساسية.

تحديد صفحة أساسية

لتحديد عنوان URL أساسي لعناوين URL مكرّرة أو صفحات متشابهة، اختَر إحدى الطرق التالية. وتأكَّد من اتّباع الإرشادات العامة.

الأسلوب والوصف
العلامة rel=canonical <link>

أضف علامة <link> في الرمز لجميع الصفحات المكرّرة للإشارة إلى الصفحة الأساسية.

الإيجابيات:
  • إمكانية ربط عدد غير محدود من الصفحات المكرّرة

السلبيات:

  • إمكانية الإضافة إلى حجم الصفحة
  • احتمال مواجهة صعوبة كبيرة في الحفاظ على الربط في المواقع الإلكترونية الكبيرة أو المواقع الإلكترونية التي تتغير فيها عناوين URL كثيرًا
  • عدم إمكانية استخدام هذه العلامة إلا مع صفحات HTML، وليس مع ملفات مثل ملفات PDF، وفي مثل هذه الحالات، يمكنك استخدام عنوان HTTP يتضمن السمة rel=canonical
عنوان HTTP rel=canonical

أرسِل عنوان rel=canonical في استجابة صفحتك.

الإيجابيات:

  • عدم زيادة حجم الصفحة
  • إمكانية ربط عدد غير محدود من الصفحات المكرّرة

السلبيات:

  • احتمال مواجهة صعوبة كبيرة في الحفاظ على الربط في المواقع الإلكترونية الكبيرة أو المواقع الإلكترونية التي تتغير فيها عناوين URL كثيرًا
ملف Sitemap

حدّد صفحاتك الأساسية في ملف Sitemap.

الإيجابيات:

  • يسهل تطبيقها والحفاظ عليها، وخاصةً على المواقع الإلكترونية الكبيرة.

السلبيات:

  • يبقى على Googlebot تحديد النسخة المكرّرة المرتبطة بأي صفحات أساسية تشير إليها في ملف Sitemap.
  • تقدّم هذه الطريقة إشارة أقل قوة إلى Googlebot مقارنةً بأسلوب ربط rel=canonical.
إعادة التوجيه 301 استخدِم عمليات إعادة التوجيه 301 لإخبار Googlebot بأن عنوان URL مُعاد توجيهه يمثّل إصدارًا أفضل من عنوان URL معيّن، ولكن لا تستخدم هذه العمليات إلا عند إيقاف صفحة مكرّرة معيّنة.
صيغة AMP إذا كانت إحدى الصيغ عبارة عن صفحة AMP، اتّبِع إرشادات AMP للإشارة إلى الصفحة الأساسية وصيغة AMP.

الإرشادات العامة

عند اتّباع أي طريقة من طرق تحديد عنوان URL الأساسي، اتّبِع هذه الإرشادات العامة:

  • لا تستخدم ملف robots.txt لأغراض متعلقة بتحديد عناوين URL الأساسية.
  • لا تستخدم أداة إزالة عناوين URL لأغراض متعلقة بتحديد عناوين URL الأساسية، لأنها تزيل كل إصدارات عنوان URL من "بحث Google".
  • لا تحدِّد عناوين URL مختلفة على أنها عناوين أساسية للصفحة ذاتها سواء باستخدام أساليب متطابقة لتحديد عنوان URL الأساسي أو أساليب مختلفة (على سبيل المثال، لا تحدِّد عنوان URL في ملف Sitemap وعنوان URL مختلفًا للصفحة ذاتها باستخدام rel="canonical").
  • لا تستخدم علامة noindex كوسيلة لمنع اختيار صفحة أساسية. ويهدف هذا التوجيه إلى استبعاد الصفحة من الفهرس، وليس إلى إدارة كيفية اختيار الصفحة الأساسية.
  • حدِّد صفحة أساسية عند استخدام علامات hreflang. وحدِّد صفحة أساسية باللغة ذاتها أو بأفضل لغة بديلة ممكنة إذا لم تتوفر صفحة أساسية للغة ذاتها.

  • أنشِئ روابط تؤدي إلى عنوان URL الأساسي وليس إلى عنوان URL المكرّر أثناء الربط بموقعك الإلكتروني. ومن خلال إنشاء روابط بشكل متّسق تؤدي إلى عنوان URL الذي تعتبره أساسيًا، يمكنك مساعدة محرك البحث Google على فهم خيارك المفضّل.

تفضيل HTTPS على HTTP لعناوين URL الأساسية

يفضّل محرك البحث Google صفحات HTTPS على صفحات HTTP المكافئة عند اختيار صفحات أساسية، باستثناء عندما تكون ثمة مشاكل أو إشارات متضاربة مثل ما يلي:

  • تتضمن صفحة HTTPS شهادة طبقة مقابس آمنة (SSL) غير صالحة.
  • تحتوي صفحة HTTPS على تبعيات غير آمنة (بخلاف الصور).
  • تعيد صفحة HTTPS توجيه المستخدمين إلى صفحة HTTP أو من خلالها.
  • تتضمّن صفحة HTTPS رابط rel="canonical" يؤدي إلى صفحة HTTP.

علمًا أنّ أنظمتنا تفضّل صفحات HTTPS على صفحات HTTP بشكل تلقائي، يمكنك ضمان التزام الأنظمة بذلك عن طريق اتّباع أيٍّ من الإجراءات التالية:

  • إضافة عمليات إعادة توجيه من صفحة HTTP إلى صفحة HTTPS
  • إضافة رابط rel="canonical" ينقل المستخدم من صفحة HTTP إلى صفحة HTTPS
  • تنفيذ سياسة HSTS

لمنع محرك البحث Google من اختيار صفحة HTTP كصفحة أساسية بشكلٍ خاطئ، تجنَّب الممارسات التالية:

  • تجنَّب شهادات طبقة النقل الآمنة/طبقة المقابس الآمنة غير الصالحة وعمليات إعادة التوجيه من HTTPS إلى HTTP، لأنها تجعل محرّك البحث Google يفضّل HTTP إلى حدٍّ كبير جدًا. ولا يمكن أن يلغي تنفيذ HSTS هذا التفضيل القوي.
  • تجنَّب تضمين صفحة HTTP في ملف Sitemap أو إدخالات hreflang بدلاً من إصدار HTTPS.
  • تجنَّب تنفيذ شهادة طبقة المقابس الآمنة/طبقة النقل الآمنة لصيغة المضيف غير الصحيحة: على سبيل المثال، عن طريق عرض شهادة www.example.com لـ example.com، ويجب أن تتطابق الشهادة مع عنوان URL الكامل للموقع الإلكتروني أو أن تكون شهادة أحرف بدل يمكن استخدامها لنطاقات فرعية متعددة في أحد النطاقات.

للمستخدمين المتقدّمين فقط: الطلب من محرك البحث Google تجاهل المعلَمات الديناميكية

استخدِم التعامل مع المعلَمات لإبلاغ Googlebot بالمعلَمات التي يجب تجاهلها أثناء الزحف. وقد يؤدي تجاهل معلَمات معيّنة إلى تقليل نسبة المحتوى المكرّر في فهرس Google وتعزيز إمكانية الزحف إلى موقعك الإلكتروني. على سبيل المثال، إذا اخترت تجاهل المعلَمة sessionid، سيعتبر Googlebot عنوانَي URL التاليَين عنوانَين مكرّرَين:

  • https://www.example.com/dresses/green.php?sessionid=273749
  • https://www.example.com/dresses/green.php

للإشارة إلى أن الصفحة نسخة مكرّرة عن صفحة أخرى، يمكنك استخدام علامة <link> في قسم head من ترميز HTML.

لنفترض أنك تريد تحديد https://example.com/dresses/green-dresses كعنوان URL أساسي، علمًا أنّ مجموعة متنوعة من عناوين URL يمكنها الوصول إلى هذا المحتوى، يمكنك الإشارة إلى عنوان URL هذا كعنوان أساسي باتّباع الخطوات التالية:

  1. أضِف عنصر رابط rel="canonical" إلى كل الصفحات المكرّرة.

    أضِف عنصر <link> مع السمة rel="canonical" إلى قسم <head> في الصفحات المكرّرة للإشارة إلى الصفحة الأساسية. مثلاً:

    <link rel="canonical" href="https://example.com/dresses/green-dresses" />
  2. إذا كانت الصفحة الأساسية تحتوي على صيغة مخصّصة للأجهزة الجوّالة، أضِف رابط rel="alternate" إليها للإشارة إلى إصدار الصفحة المخصّص للأجهزة الجوّالة:
    <link rel="alternate" media="only screen and (max-width: 640px)"  href="http://m.example.com/dresses/green-dresses">
  3. أضِف أي علامة hreflang أو عمليات إعادة توجيه أخرى مناسبة للصفحة.

استخدام عنوان HTTP يتضمن السمة rel="canonical"

إذا كان بإمكانك إعداد خادمك، يمكنك استخدام عنوان HTTP يتضمن السمة rel="canonical" (بدلاً من علامة HTML) للإشارة إلى عنوان URL الأساسي لمستند متوافق مع "بحث Google"، بما في ذلك المستندات التي ليست بتنسيق HTML مثل ملفات PDF.

إذا كنت تعرض ملفًا بتنسيق PDF على عدة عناوين URL، يمكنك إضافة عنوان HTTP يتضمن السمة rel="canonical" لإخبار Googlebot بعنوان URL الأساسي الخاص بملف PDF:

Link: <http://www.example.com/downloads/white-paper.pdf>; rel="canonical"

يدعم محرك البحث Google حاليًا هذه الطريقة لنتائج بحث الويب فقط.

استخدام ملف Sitemap

اختَر عنوان URL أساسيًا لكل صفحة من صفحاتك وأرسله في ملف Sitemap. وتكون جميع الصفحات المدرَجة في ملف Sitemap مقترَحة على أنها صفحات أساسية، وسيحدّد Googlebot الصفحات المكرّرة (في حال توفّرها) استنادًا إلى تشابه المحتوى.

نحن لا نضمن أننا سنعتبر عناوين URL المدرَجة في ملف Sitemap على أنها أساسية، ولكنها طريقة بسيطة لتعريف العناوين الأساسية في موقع إلكتروني كبير، وتشكّل ملفات Sitemap طريقةً مفيدةً لإبلاغ محرك البحث Google بالصفحات التي تعتبرها الأكثر أهمية على موقعك الإلكتروني.

لا تُضمِّن صفحات غير أساسية في ملف Sitemap. وإذا كنت تستخدم ملف Sitemap، حدِّد فيه عناوين URL الأساسية فقط.

استخدام عمليات إعادة التوجيه 301 لعناوين URL المُستبعَدة

استخدِم هذه الطريقة للتخلص من الصفحات المكرّرة الحالية مع ضمان عملية انتقال سلسة قبل إزالة عناوين URL القديمة.

لنفترض أن صفحتك يمكن الوصول إليها من خلال عدة طرق:

  • https://example.com/home
  • https://home.example.com
  • https://www.example.com

اختَر أحد عناوين URL هذه كعنوان URL الأساسي، واستخدِم عمليات إعادة التوجيه 301 لتحويل الزيارات من عناوين URL الأخرى إلى عنوان URL المفضّل لديك. وتُعدّ طريقة إعادة التوجيه 301 من جانب الخادم أفضل طريقة لضمان توجيه المستخدمين ومحركات البحث إلى الصفحة الصحيحة. ويشير رمز الحالة 301 إلى أنه تم نقل إحدى الصفحات إلى مكان جديد بشكل دائم.

إذا كنت مشتركًا في خدمة استضافة للمواقع الإلكترونية، ابحث عن المستندات المتعلقة بإعداد عمليات إعادة التوجيه 301.

تحديد المشاكل وحلّها

إذا كان عنوان URL الأساسي في موقع إلكتروني لا تملكه، لن تتمكّن من الاطّلاع على أي من الزيارات في الصفحة المكرّرة. في ما يلي بعض الأسباب الشائعة التي قد تؤدي إلى توفّر عنوان URL أساسي في موقع إلكتروني منفصل:

  • صيغ اللغة المحددة على نحو غير صحيح: إذا كانت لديك عدة مواقع إلكترونية تعرض محتوًى مشابهًا تمت ترجمته ليصل إلى المستخدمين في كل أنحاء العالم، تأكَّد من اتّباع إرشاداتنا بشأن المواقع الإلكترونية المترجمة.
  • العلامات الأساسية غير الصحيحة: قد تستخدم بعض أنظمة إدارة المحتوى (CMS) أو المكوّنات الإضافية لأنظمة إدارة المحتوى أساليب تحديد العنوان الأساسي بشكل غير صحيح للتوجيه إلى عناوين URL على مواقع إلكترونية خارجية. لذلك، عليك التحقق من المحتوى الخاص بك لمعرفة ما إذا كان ذلك منطبقًا عليك. إذا كان موقعك الإلكتروني يشير إلى خيار مفضّل غير متوقّع لعنوان URL أساسي نتيجة استخدام غير صحيح لعلامات rel="canonical" أو عملية إعادة توجيه 301 مثلاً، ننصحك بإصلاح هذه المشكلة مباشرةً.
  • الخوادم التي تم إعدادها بشكل غير صحيح: قد تؤدي عملية الإعداد غير الصحيحة للخادم الذي يستضيف موقعك الإلكتروني إلى اختيار غير متوقّع لعنوان URL في عدة نطاقات. مثلاً:
    • قد يتم إعداد الخادم بشكل غير صحيح، فيعرض محتوى من a.com كاستجابة لطلب عرض عنوان URL على b.com.
    • قد يعرض خادمان مختلفان على الويب صفحات soft 404 متطابقة يتعذّر على محرك البحث Google تحديدها كصفحات تحتوي على أخطاء.
  • الاستيلاء على الصفحات باستخدام البرامج الضارة: تُدخل بعض الهجمات على المواقع الإلكترونية رموزًا تؤدي إلى عرض إعادة توجيه 301 من خلال HTTP أو تُدرج عنصر رابط rel="canonical" على النطاقات المختلفة في <head> HTML أو في عنوان HTTP، حيث يوجّه عنصر الرابط هذا عادةً إلى عنوان URL يستضيف برامج ضارة أو محتوًى غير مرغوب فيه. وفي هذه الحالات، قد تختار خوارزمياتنا عنوان URL الضار أو غير المرغوب فيه بدلاً من عنوان URL المتوفّر في الموقع الإلكتروني الذي تم اختراقه.
  • موقع إلكتروني مقلَّد: في بعض الحالات النادرة، قد تختار خوارزمياتنا عنوان URL من موقع إلكتروني خارجي يستضيف المحتوى الخاص بك بدون إذنك. إذا كنت تعتقد أنّ ثمة موقع إلكتروني آخر يعرض نسخة من المحتوى الخاص بك بما يخالف قانون حقوق الطبع والنشر، يمكنك التواصل مع مضيف الموقع الإلكتروني لطلب إزالة هذا المحتوى. بالإضافة إلى ذلك، يمكنك أن تطلب من Google إزالة الصفحة التي تمثل انتهاكًا لحقوق الطبع والنشر من نتائج البحث من خلال تقديم طلب بموجب قانون الألفية الجديدة لحقوق طبع ونشر المواد الرقمية.