מנועי חיפוש יכולים להציג דפים בתוצאות החיפוש שלהם רק אם הדפים האלה לא חוסמים באופן מפורש את ההוספה לאינדקס על ידי הסורקים של מנוע החיפוש. חלק מהכותרות ומהמטא תגים של HTTP מציינים לסורקים שאין להוסיף דף לאינדקס.
יש לחסום את ההוספה לאינדקס רק של תוכן שלא רוצים שיופיע בתוצאות החיפוש.
איך הבדיקה של הוספה לאינדקס ב-Lighthouse נכשלת
הדף Lighthouse מסמן דפים שמנועי חיפוש לא יכולים להוסיף לאינדקס:
מערכת Lighthouse מחפשת רק כותרות או רכיבים שחוסמים את כל הסורקים של מנועי החיפוש. לדוגמה, הרכיב <meta> שלמטה מונע מכל הסורקים של מנועי החיפוש (שנקראים גם רובוטים) לגשת לדף שלכם:
<meta name="robots" content="noindex"/>
הכותרת של תגובת HTTP הזו חוסמת גם את כל הסורקים:
X-Robots-Tag: noindex
יכול להיות שיש גם רכיבי <meta> שחוסמים סורקים ספציפיים, כמו:
<meta name="Googlebot" content="noindex"/>
Lighthouse לא נכשל בבדיקת הוראות ספציפיות לסורק כמו זה, אבל הן עדיין עשויות להקשות על הגילוי של הדף שלכם, לכן כדאי להשתמש בהן בזהירות. מערכת Lighthouse שולחת אזהרה אם הוראה ספציפית לסורק חוסמת בוט נפוץ להוספה לאינדקס.
איך לוודא שמנועי החיפוש יכולים לסרוק את הדף
תחילה ודא שברצונך שמנועי חיפוש יוסיפו את הדף לאינדקס. בדרך כלל לא כדאי להוסיף לאינדקס דפים מסוימים, כמו קובצי sitemap או תוכן משפטי. (חשוב לזכור שחסימה של הוספה לאינדקס לא מונעת מהמשתמשים לגשת לדף אם הם יודעים את כתובת ה-URL שלו.)
בדפים שאתם רוצים להוסיף לאינדקס, צריך להסיר את כל כותרות ה-HTTP או רכיבי <meta> שחוסמים את הסורקים של מנוע החיפוש. בהתאם לאופן שבו הגדרתם את האתר, ייתכן שתצטרכו לבצע חלק מהשלבים הבאים או את כולם:
- אם מגדירים כותרת תגובת HTTP, מסירים את כותרת התגובה
X-Robots-Tagמסוג HTTP:
X-Robots-Tag: noindex
- יש להסיר את המטא תג הבא אם הוא נמצא בראש הדף:
<meta name="robots" content="noindex">
- כדאי להימנע ממטא תגים שחוסמים סורקים ספציפיים, אם התגים האלה נמצאים בראש הדף. לדוגמה:
<meta name="Googlebot" content="noindex">
הוספת אמצעי בקרה (אופציונלי)
ייתכן שאתם רוצים שליטה רבה יותר על האופן שבו מנועי חיפוש מוסיפים את הדף לאינדקס. לדוגמה, יכול להיות שלא תרצו ש-Google תוסיף לאינדקס תמונות, אבל אתם כן רוצים ששאר הדף יתווסף לאינדקס.
למידע על אופן ההגדרה של רכיבי <meta> וכותרות HTTP עבור מנועי חיפוש ספציפיים, עיינו במדריכים הבאים: