موتورهای جستجو فقط در صورتی می توانند صفحاتی را در نتایج جستجوی خود نشان دهند که آن صفحات به صراحت نمایه سازی توسط خزنده های موتورهای جستجو را مسدود نکنند. برخی از هدرهای HTTP و متا تگ ها به خزنده ها می گویند که یک صفحه نباید ایندکس شود.
فقط برای محتوایی که نمی‌خواهید در نتایج جستجو نمایش داده شود، فهرست‌سازی را مسدود کنید.
چگونه ممیزی نمایه سازی فانوس دریایی شکست می خورد
Lighthouse صفحاتی را که موتورهای جستجو نمی توانند ایندکس کنند پرچم گذاری می کند:
Lighthouse فقط سرصفحه ها یا عناصری را بررسی می کند که همه خزنده های موتورهای جستجو را مسدود می کنند. برای مثال، عنصر <meta> زیر از دسترسی همه خزنده‌های موتورهای جستجو (همچنین به عنوان ربات‌ها) به صفحه شما جلوگیری می‌کند:
<meta name="robots" content="noindex"/>
این هدر پاسخ HTTP همچنین تمام خزنده ها را مسدود می کند:
X-Robots-Tag: noindex
همچنین ممکن است عناصر <meta> داشته باشید که خزنده‌های خاصی را مسدود می‌کنند، مانند:
<meta name="Googlebot" content="noindex"/>
Lighthouse در ممیزی دستورالعمل‌های خاص خزنده مانند این شکست نمی‌خورد، اما همچنان می‌تواند کشف صفحه شما را سخت‌تر کند، بنابراین با احتیاط از آنها استفاده کنید. اگر یک دستورالعمل خاص خزنده یک ربات نمایه سازی مشترک را مسدود کند، Lighthouse یک هشدار منتشر می کند.
چگونه مطمئن شویم موتورهای جستجو می توانند صفحه شما را بخزند
ابتدا مطمئن شوید که می خواهید موتورهای جستجو صفحه را ایندکس کنند. برخی از صفحات، مانند نقشه سایت یا محتوای قانونی، معمولاً نباید ایندکس شوند. (به خاطر داشته باشید که مسدود کردن نمایه سازی مانع از دسترسی کاربران به صفحه ای در صورت اطلاع از URL آن نمی شود.)
برای صفحاتی که می‌خواهید ایندکس شوند، هر سرصفحه HTTP یا عناصر <meta> را که خزنده‌های موتور جستجو را مسدود می‌کنند، حذف کنید. بسته به نحوه راه اندازی سایت خود، ممکن است لازم باشد برخی یا همه مراحل زیر را انجام دهید:
- اگر سرصفحه پاسخ HTTP را تنظیم کرده اید، هدر پاسخ HTTP
X-Robots-Tagحذف کنید:
X-Robots-Tag: noindex
- اگر متا تگ زیر در سر صفحه وجود دارد حذف کنید:
<meta name="robots" content="noindex">
- اگر این تگ ها در سر صفحه وجود دارند از متا تگ هایی که خزنده های خاصی را مسدود می کنند، خودداری کنید. مثلا:
<meta name="Googlebot" content="noindex">
اضافه کردن کنترل اضافی (اختیاری)
ممکن است بخواهید کنترل بیشتری بر نحوه فهرست بندی صفحه شما توسط موتورهای جستجو داشته باشید. به عنوان مثال، شاید شما نمی خواهید گوگل تصاویر را ایندکس کند، اما می خواهید بقیه صفحه ایندکس شود.
برای اطلاعات در مورد نحوه پیکربندی عناصر <meta> و هدرهای HTTP برای موتورهای جستجوی خاص، به این راهنماها مراجعه کنید: