Suchmaschinen können Seiten nur dann in den Suchergebnissen anzeigen, wenn diese Seiten die Indexierung durch Suchmaschinen-Crawler nicht explizit blockieren. Einige HTTP-Header und Meta-Tags teilen Crawlern mit, dass eine Seite nicht indexiert werden soll.
Blockieren Sie nur die Indexierung für Inhalte, die nicht in den Suchergebnissen erscheinen sollen.
So funktioniert die Lighthouse-Indexierungsprüfung nicht
Lighthouse kennzeichnet Seiten, die von Suchmaschinen nicht indexiert werden können:
Lighthouse sucht nur nach Headern oder Elementen, die alle Suchmaschinen-Crawler blockieren. Beispielsweise verhindert das folgende <meta>
-Element, dass alle Suchmaschinen-Crawler (auch als Robots bezeichnet) auf deine Seite zugreifen können:
<meta name="robots" content="noindex"/>
Dieser HTTP-Antwortheader blockiert auch alle Crawler:
X-Robots-Tag: noindex
Möglicherweise verwendest du <meta>
-Elemente, die bestimmte Crawler blockieren, z. B.:
<meta name="Googlebot" content="noindex"/>
Lighthouse hat die Prüfung für Crawler-spezifische Anweisungen wie diese zwar nicht bestanden, kann die Auffindbarkeit der Seite aber trotzdem erschweren. Verwenden Sie sie daher mit Vorsicht. Lighthouse gibt eine Warnung aus, wenn eine Crawler-spezifische Anweisung einen gängigen Indexierungs-Bot blockiert.
Sicherstellen, dass Suchmaschinen Ihre Seite crawlen können
Vergewissern Sie sich zunächst, dass die Seite von Suchmaschinen indexiert werden soll. Einige Seiten wie Sitemaps oder rechtliche Inhalte sollten in der Regel nicht indexiert werden. Beachte jedoch, dass die Blockierung der Indexierung nicht verhindert, dass Nutzer auf eine Seite zugreifen, wenn sie die URL kennen.
Entferne bei Seiten, die indexiert werden sollen, alle HTTP-Header oder <meta>
-Elemente, die Suchmaschinen-Crawler blockieren. Je nachdem, wie Sie Ihre Website eingerichtet haben, müssen Sie möglicherweise einige oder alle der folgenden Schritte ausführen:
- Entfernen Sie den HTTP-Antwortheader
X-Robots-Tag
, wenn Sie einen HTTP-Antwortheader einrichten:
X-Robots-Tag: noindex
- Entfernen Sie das folgende Meta-Tag, falls es im Header der Seite vorhanden ist:
<meta name="robots" content="noindex">
- Vermeide Meta-Tags, die bestimmte Crawler blockieren, wenn diese Tags im Header der Seite vorhanden sind. Beispiel:
<meta name="Googlebot" content="noindex">
Zusätzliche Einstellung hinzufügen (optional)
Möglicherweise möchten Sie besser steuern, wie Suchmaschinen Ihre Seite indexieren. Angenommen, Sie möchten nicht, dass Google Bilder indexiert, aber der Rest der Seite soll indexiert werden.
Informationen zum Konfigurieren von <meta>
-Elementen und HTTP-Headern für bestimmte Suchmaschinen finden Sie in diesen Anleitungen: