Aufnahme in den Suchindex mithilfe von noindex blockieren
Du kannst verhindern, dass eine Seite oder eine andere Ressource in der Google Suche erscheint, indem du in der HTTP-Antwort ein bzw. einen noindex-Meta-Tag oder -Header aufnimmst. Wenn der Googlebot das nächste Mal diese Seite crawlt und das Tag oder den Header erkennt, entfernt er diese Seite vollständig aus den Google-Suchergebnissen, unabhängig davon, ob andere Websites auf diese Seite verweisen.
Die Verwendung von noindex ist nützlich, wenn du keinen Rootzugriff auf deinen Server hast, da du damit den Zugriff auf einzelne Seiten deiner Website steuern kannst.
noindex implementieren
Es gibt zwei Möglichkeiten, noindex zu implementieren: als Meta-Tag und als HTTP-Antwortheader. Beide haben den gleichen Effekt. Wähle daher die für deine Website praktischere und für deinen Inhaltstyp passendere Methode aus.
<meta>-Tag
Wenn du verhindern möchtest, dass die meisten Suchmaschinen eine Seite auf deiner Website indexieren, platziere das folgende Meta-Tag in den Abschnitt <head> deiner Seite:
<meta name="robots" content="noindex">
Wenn nur die Google-Web-Crawler eine Seite nicht indexieren sollen:
<meta name="googlebot" content="noindex">
Beachte, dass einige Suchmaschinen die Anweisung noindexunterschiedlich interpretieren. Daher ist es möglich, dass deine Seite immer noch in den Ergebnissen anderer Suchmaschinen erscheint.
Weitere Informationen zum noindex-Meta-Tag
HTTP-Antwortheader
Statt eines Meta-Tags kannst du auch einen X-Robots-Tag-Header mit dem Wert noindex oder none in deiner Antwort zurückgeben. Ein Antwortheader kann für Nicht-HTML-Ressourcen wie PDFs, Video- und Bilddateien verwendet werden. Hier ein Beispiel einer HTTP-Antwort mit einem X-Robots-Tag, das Suchmaschinen anweist, eine Seite nicht zu indexieren:
HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)
Weitere Informationen zum Antwortheader noindex
So erkennen wir deine Meta-Tags
Damit wir Meta-Tags und HTTP-Header sehen können, muss deine Seite gecrawlt werden. Wenn eine Seite weiterhin in den Ergebnissen erscheint, liegt das wahrscheinlich daran, dass sie seit dem Hinzufügen des Tags noch nicht wieder von uns gecrawlt wurde. Mit dem URL-Prüftool kannst du ein erneutes Crawlen einer Seite durch Google beantragen. Ein anderer Grund, warum deine Seite möglicherweise weiterhin in den Ergebnissen erscheint, ist, dass die robots.txt-Datei die URL für Google-Web-Crawler blockiert und das Tag deshalb nicht erkannt werden kann. Um die Blockierung deiner Seite bei Google aufzuheben, musst du deine robots.txt-Datei bearbeiten. Mit dem Tool robots.txt-Tester kannst du deine robots.txt-Datei bearbeiten und testen.