Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Spezifikationen für Robots-Meta-Tags, Data-Nosnippet- und X-Robots-Tags

In diesem Dokument wird beschrieben, wie du mithilfe der Einstellungen auf Seiten- und Textebene festlegst, wie Google deine Inhalte in den Suchergebnissen darstellt. Für Einstellungen auf Seitenebene kannst du ein Meta-Tag in HTML-Seiten oder in einen HTTP-Header einfügen. Einstellungen auf Textebene legst du mit dem data-nosnippet-Attribut für HTML-Elemente auf einer Seite fest.

Diese Einstellungen können nur gelesen und befolgt werden, wenn Crawlern Zugriff auf die Seiten gegeben wird, die diese Einstellungen enthalten.

Das Tag beziehungsweise die Anweisung <meta name="robots" content="noindex"> gilt für Suchmaschinen-Crawler. Damit andere Crawler wie z. B. AdsBot-Google blockiert werden, musst du möglicherweise Anweisungen hinzufügen, die nur für den betreffenden Crawler gelten, also etwa <meta name="AdsBot-Google" content="noindex">.

Robots-Meta-Tag verwenden

Das Robots-Meta-Tag ermöglicht dir eine detaillierte, seitenspezifische Herangehensweise, bei der du angibst, wie eine bestimmte Seite indexiert und den Nutzern in Google-Suchergebnissen angezeigt werden soll. Platziere das Robots-Meta-Tag folgendermaßen im <head>-Abschnitt der jeweiligen Seite:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex">
(…)
</head>
<body>(…)</body>
</html>

In diesem Beispiel weist das Robots-Meta-Tag Suchmaschinen an, die Seite nicht in den Suchergebnissen anzuzeigen. Der Wert des Attributs name (robots) gibt an, dass die Anweisung für alle Crawler gilt. Wenn du einen bestimmten Crawler ansprechen möchtest, ersetze den Wert robots des Attributs name durch den Namen des entsprechenden Crawlers. Bestimmte Crawler werden auch als User-Agents bezeichnet. Ein Crawler verwendet seinen User-Agent zum Anfordern einer Seite. Der Standard-Web-Crawler von Google hat den User-Agent-Namen Googlebot. Wenn du nur Google am Indexieren deiner Seite hindern möchtest, aktualisiere das Tag folgendermaßen:

<meta name="googlebot" content="noindex">

Dieses Tag weist Google an, diese Seite nicht in den Suchergebnissen anzuzeigen. Bei den Attributen name und content wird die Groß- und Kleinschreibung nicht beachtet.

Suchmaschinen setzen unter Umständen für unterschiedliche Zwecke unterschiedliche Crawler ein. Weitere Informationen findest du in der vollständigen Liste der Google-Crawler. Wenn du beispielsweise möchtest, dass eine Seite in den Ergebnissen der Google Websuche, aber nicht in Google News angezeigt wird, verwendest du dazu das folgende Meta-Tag:

<meta name="googlebot-news" content="noindex">

Wenn du mehrere Crawler einzeln angeben möchtest, verwendest du mehrere Robots-Meta-Tags:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

Wenn du die Indexierung von Nicht-HTML-Ressourcen wie PDFs, Video- oder Bilddateien blockieren möchtest, verwende stattdessen den X-Robots-Tag-Antwortheader.

HTTP-Header X-Robots-Tag verwenden

Das X-Robots-Tag kann als Element der HTTP-Header-Antwort für die jeweilige URL verwendet werden. Jede Anweisung, die in einem Robots-Meta-Tag verwendet werden kann, kann auch als X-Robots-Tag angegeben werden. Hier ein Beispiel für eine HTTP-Antwort mit einem X-Robots-Tag, das Crawler anweist, eine Seite nicht zu indexieren:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

Du kannst in der HTTP-Antwort mehrere X-Robots-Tag-Header kombinieren oder eine durch Kommas getrennte Liste bereitstellen. Hier ein Beispiel für eine HTTP-Header-Antwort, in der ein noarchive X-Robots-Tag mit einem unavailable_after X-Robots-Tag kombiniert wird.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

Im X-Robots-Tag kann bei Bedarf vor den Anweisungen ein User-Agent angegeben werden. Mit dem folgenden Satz von HTTP-Headern mit X-Robots-Tag kann zum Beispiel das Anzeigen einer Seite in Suchergebnissen verschiedener Suchmaschinen unter bestimmten Bedingungen erlaubt werden:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

Anweisungen, die ohne User-Agent angegeben werden, sind für alle Crawler gültig. Weder beim HTTP-Header noch beim User-Agent-Namen oder den angegebenen Werten ist die Groß- und Kleinschreibung von Bedeutung.

Gültige Indexierungs- und Bereitstellungsanweisungen

Mit den folgenden Anweisungen können die Indexierung und die Bereitstellung eines Snippets über das Robots-Meta-Tag und das X-Robots-Tag gesteuert werden. Ein Snippet ist ein kurzer Textauszug in den Suchergebnissen, anhand dessen der Nutzer sehen kann, wie relevant das Dokument für seine Suchanfrage ist. In der folgenden Tabelle werden alle Anweisungen, die von Google beachtet werden, und ihre jeweilige Bedeutung aufgeführt. Jeder Wert stellt eine spezifische Anweisung dar. Mehrere Anweisungen können in einer durch Kommas getrennten Liste oder in separaten Meta-Tags kombiniert werden. Bei diesen Anweisungen muss die Groß- und Kleinschreibung nicht berücksichtigt werden.

Anweisungen

all

Es bestehen keine Einschränkungen hinsichtlich der Indexierung oder Bereitstellung. Diese Anweisung ist der Standardwert, sodass ihre explizite Auflistung ohne Auswirkungen bleibt.

noindex

Diese Seite, Ressource oder Medien nicht in den Suchergebnissen anzeigen. Wenn du diese Anweisung nicht angibst, können die Seite, Ressource oder Medien indexiert und in den Suchergebnissen angezeigt werden.

Wenn du Informationen aus Google entfernen möchtest, folge unserer detaillierten Anleitung.

nofollow

Den Links auf dieser Seite nicht folgen. Wenn du diese Anweisung nicht angibst, kann Google die Links auf der Seite verwenden, um die verlinkten Seiten zu finden. Weitere Informationen zum Attribut nofollow

none

Gleichbedeutend mit noindex, nofollow.

noarchive

In den Suchergebnissen keinen im Cache gespeicherten Link anzeigen. Wenn du diese Anweisung nicht angibst, kann Google eine im Cache gespeicherte Seite generieren und Nutzer greifen möglicherweise über die Suchergebnisse darauf zu.

nositelinkssearchbox

In den Suchergebnissen für diese Seite kein Sitelinks-Suchfeld anzeigen. Wenn du diese Anweisung nicht angibst, kann Google in den Suchergebnissen ein Suchfeld speziell für deine Website sowie andere direkte Links zu deiner Website generieren.

nosnippet

In den Suchergebnissen für diese Seite kein Text-Snippet und keine Videovorschau anzeigen. Eine statische Miniaturansicht (falls verfügbar) ist weiterhin sichtbar, wenn dies dem Nutzer einen Mehrwert bietet. Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder und Discover.

Wenn du diese Anweisung nicht angibst, kann Google ein Text-Snippet und eine Videovorschau generieren, die auf den auf der Seite gefundenen Informationen basieren.

indexifembedded

Google darf den Inhalt einer Seite indexieren, wenn er in einer anderen Seite durch iframes oder ähnliche HTML-Tags eingebettet ist – auch wenn es eine noindex-Anweisung gibt.

indexifembedded wirkt sich nur dann aus, wenn noindex dabeisteht.

max-snippet: [Zahl]

Als Text-Snippet für dieses Suchergebnis höchstens [Zahl] Zeichen verwenden. Bitte beachte, dass eine URL auf einer Suchergebnisseite möglicherweise über mehrere Ergebnisse hinweg angezeigt wird. Das hat keine Auswirkungen auf die Bild- oder Videovorschau. Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder, Discover und Assistant. Diese Beschränkung gilt jedoch nicht, wenn ein Publisher die Genehmigung zur Verwendung von Inhalten separat erteilt hat. Sollte der Publisher beispielsweise Inhalte in Form von strukturierten In-Page-Daten zur Verfügung stellen oder eine Lizenzvereinbarung mit Google haben, wirkt sich diese Einstellung auf solche spezifischeren zulässigen Verwendungen nicht aus. Diese Anweisung wird ignoriert, wenn für [Zahl] kein parsbarer Wert angegeben wird.

Wenn du diese Anweisung nicht angibst, wählt Google die Snippet-Länge aus.

Spezielle Werte:

  • 0: Es soll kein Snippet angezeigt werden. Gleichbedeutend mit nosnippet.
  • -1: Google wählt die Snippet-Länge aus, mit der Nutzer am ehesten deine Inhalte finden und auf deine Website geleitet werden.

Beispiele:

So verhinderst du, dass ein Snippet in den Suchergebnissen angezeigt wird:


<meta name="robots" content="max-snippet:0">

So lässt du bis zu 20 Zeichen im Snippet zu:


<meta name="robots" content="max-snippet:20">

So legst du fest, dass die Anzahl der Zeichen im Snippet unbegrenzt ist:


<meta name="robots" content="max-snippet:-1">

max-image-preview: [Einstellung]

Legt die maximale Größe fest, die eine Bildvorschau in den Suchergebnissen für diese Seite haben kann.

Wenn du die Anweisung max-image-preview nicht angibst, kann Google eine Bildvorschau in der Standardgröße anzeigen.

Akzeptierte Werte für [Einstellung]:

  • none: Es soll keine Bildvorschau angezeigt werden.
  • standard: Eine Standardbildvorschau darf angezeigt werden.
  • large: Es darf eine größere Bildvorschau angezeigt werden, die maximal so breit ist wie der Darstellungsbereich.

Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder, Discover und Assistant. Diese Beschränkung gilt jedoch nicht, wenn ein Publisher die Genehmigung zur Verwendung von Inhalten separat erteilt hat. Sollte der Publisher beispielsweise Inhalte in Form von strukturierten In-Page-Daten zur Verfügung stellen (z. B. AMP- und kanonische Versionen eines Artikels) oder eine Lizenzvereinbarung mit Google haben, wirkt sich diese Einstellung auf solche spezifischeren zulässigen Verwendungen nicht aus.

Wenn du nicht möchtest, dass bei Google größere Miniaturansichten zu sehen sind, wenn deine AMP-Seiten und kanonische Versionen eines Artikels in der Google Suche und in Discover angezeigt werden, lege für max-image-preview den Wert standard oder none fest.

Beispiel:


<meta name="robots" content="max-image-preview:standard">

max-video-preview: [Zahl]

Für Videos werden auf dieser Seite in den Suchergebnissen Video-Snippets von maximal [number] Sekunden verwendet.

Wenn du die Anweisung max-video-preview nicht angibst, kann Google ein Video-Snippet in den Suchergebnissen anzeigen und selbst entscheiden, wie lang die Vorschau ist.

Spezielle Werte:

  • 0: Entsprechend der Einstellung für max-image-preview darf lediglich ein statisches Bild verwendet werden.
  • -1: Es gibt kein Limit.

Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder, Google Videos, Discover und Assistant. Diese Anweisung wird ignoriert, wenn für [Zahl] kein parsbarer Wert angegeben wird.

Beispiel:


<meta name="robots" content="max-video-preview:-1">

notranslate

In Suchergebnissen keine Übersetzung dieser Seite anbieten. Wenn du diese Anweisung nicht angibst, kann Google für Suchergebnisse, die nicht der Sprache der Suchanfrage entsprechen, eine Übersetzung des Titellinks und des Snippets anbieten. Sobald der Nutzer auf den übersetzten Titellink klickt, wird die Seite mithilfe von Google Übersetzer dargestellt und alle verfolgten Links werden automatisch übersetzt.

noimageindex

Bilder auf dieser Seite nicht indexieren. Wenn du diesen Wert nicht angibst, können Bilder auf der Seite indexiert und in den Suchergebnissen angezeigt werden.

unavailable_after: [Datum/Uhrzeit]

Diese Seite nach dem angegebenen Zeitpunkt nicht mehr in den Suchergebnissen anzeigen. Datum und Uhrzeit müssen in einem gängigen Format angegeben werden, beispielsweise nach RFC 822, RFC 850 und ISO 8601. Diese Anweisung wird ignoriert, wenn kein gültiger Zeitpunkt angegeben wurde. Für Inhalte gibt es standardmäßig kein Ablaufdatum.

Wenn du diese Anweisung nicht angibst, wird diese Seite möglicherweise auf unbestimmte Zeit in den Suchergebnissen angezeigt. Nach dem festgelegten Zeitpunkt verringert der Googlebot die Crawling-Frequenz für die URL erheblich.

Beispiel:


<meta name="robots" content="unavailable_after: 2020-09-21">

Umgang mit kombinierten Indexierungs- und Bereitstellungsanweisungen

Du kannst einen Anweisungsstring aus mehreren Robots-Meta-Tag-Anweisungen erstellen, indem du die Anweisungen mit Kommas aneinanderreihst oder mehrere Meta-Tags verwendest. Hier ein Beispiel für ein Robots-Meta-Tag, das Web-Crawler anweist, die Seite nicht zu indexieren und keinen der Links auf der Seite zu crawlen:

Durch Kommas getrennte Liste

<meta name="robots" content="noindex, nofollow">

Mehrere Meta-Tags

<meta name="robots" content="noindex">
<meta name="robots" content="nofollow">

Hier ist ein Beispiel, das das Text-Snippet auf 20 Zeichen begrenzt und eine große Bildvorschau ermöglicht:

<meta name="robots" content="max-snippet:20, max-image-preview:large">

Wenn mehrere Crawler mit unterschiedlichen Anweisungen angegeben sind, verwendet die Suchmaschine die Summe der negativen Anweisungen. Beispiel:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Wenn der Googlebot die Seite mit diesen Meta-Tags crawlt, wird sie so behandelt, als würde sie die Anweisung noindex, nofollow enthalten.

Das HTML-Attribut data-nosnippet

Du kannst auf einer HTML-Seite für bestimmte Textteile angeben, dass diese nicht als Snippet verwendet werden sollen. Auf HTML-Element-Ebene verwendest du dafür das HTML-Attribut data-nosnippet in den Elementen span, div und section. Das data-nosnippet wird als ein boolesches Attribut betrachtet. Wie bei allen booleschen Attributen werden alle angegebenen Werte ignoriert. Der HTML-Abschnitt muss aus gültigem HTML-Code bestehen und alle Tags müssen entsprechend geschlossen sein, um die Maschinenlesbarkeit zu gewährleisten.

Beispiele:

<p>This text can be shown in a snippet
<span data-nosnippet>and this part would not be shown</span>.</p>

<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>
<div data-nosnippet="false">also not in snippet</div>
<!-- all values are ignored -->

<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->

<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->

In der Regel rendert Google Seiten, um sie zu indexieren. Das Rendern kann jedoch nicht garantiert werden. Das Extrahieren von data-nosnippet kann daher sowohl vor als auch nach dem Rendern stattfinden. Damit Ungewissheiten in Bezug auf das Rendern vermieden werden, solltest du das data-nosnippet-Attribut bestehender Knoten nicht über JavaScript hinzufügen oder entfernen. Schließe beim Hinzufügen von DOM-Elementen über JavaScript das Attribut data-nosnippet nach Bedarf ein, wenn du das Element zum ersten Mal dem DOM der Seite hinzufügst. Wenn du benutzerdefinierte Elemente verwendest und data-nosnippet verwenden musst, nutze die Elemente div, span oder section, um sie zusammenzufassen oder zu rendern.

Strukturierte Daten

Mit Robots-Meta-Tags wird die Menge der Inhalte gesteuert, die Google automatisch aus Webseiten extrahiert, um sie als Suchergebnisse anzuzeigen. Viele Publisher verwenden jedoch darüber hinaus strukturierte Daten, die auf schema.org-Vorgaben basieren, um bestimmte Informationen für die Präsentation in der Suche verfügbar zu machen. Einschränkungen für Robots-Meta-Tags wirken sich nicht auf die Verwendung dieser strukturierten Daten aus. Ausgenommen davon sind die Werte article.description und description für strukturierte Daten, die für andere Inhalte vom Typ „CreativeWork“ angegeben wurden. Verwende das Robots-Meta-Tag max-snippet, um die maximale Länge einer Vorschau anhand dieser description-Werte anzugeben. Beispielsweise können Daten, die als recipe strukturiert wurden, auf einer Ergebnisseite in das Rezeptkarussell aufgenommen werden, auch wenn die Textvorschau ansonsten eingeschränkt wäre. Du kannst die Länge einer Textvorschau mit max-snippet begrenzen, aber dieses Robots-Meta-Tag wird nicht angewendet, wenn die Informationen mithilfe von strukturierten Daten für Rich-Suchergebnisse bereitgestellt werden.

Wie strukturierte Daten auf deinen Webseiten angezeigt werden, beeinflusst du mit den Angaben, die du für die Typen und Werte der strukturierten Daten machst. Je nachdem, welche Angaben du dabei hinzufügst oder löschst, sind nur genau diese Daten für die Anzeige bei Google verfügbar. Beachte außerdem, dass strukturierte Daten auch dann noch für Suchergebnisse verwendet werden können, wenn sie in einem data-nosnippet-Element deklariert sind.

Praktische Implementierung von X-Robots-Tag

Du kannst das X-Robots-Tag den HTTP-Antworten einer Website über die Konfigurationsdateien der Webserver-Software hinzufügen. Auf Apache-basierten Webservern kannst du beispielsweise .htaccess- und httpd.conf-Dateien verwenden. Die Verwendung eines X-Robots-Tag in Verbindung mit HTTP-Antworten hat den Vorteil, dass du Crawling-Anweisungen angeben kannst, die für die gesamte Website gelten. Die Unterstützung regulärer Ausdrücke ermöglicht einen hohen Grad an Flexibilität.

Wenn du zum Beispiel das noindex, nofollow-X-Robots-Tag zur HTTP-Antwort für alle PDF-Dateien auf einer Website hinzufügen möchtest, fügst du das folgende Snippet in die .htaccess- oder httpd.conf-Stammdatei der Website in Apache oder in die .conf-Datei der Website in NGINX ein.

Apache

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>
location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

NGINX

Du kannst das X-Robots-Tag bei Nicht-HTML-Dateien wie z. B. Bilddateien einsetzen, bei denen die Verwendung von Robots-Meta-Tags in HTML nicht möglich ist. Hier ist ein Beispiel für das Hinzufügen einer noindex-X-Robots-Tag-Anweisung für PNG-, JPEG-, JPG- und GIF-Bilddateien auf der gesamten Website:

Apache

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

NGINX

location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

Du kannst auch die X-Robots-Tag-Header für einzelne statische Dateien festlegen:

Apache

# the htaccess file must be placed in the directory of the matched file.
<Files "unicorn.pdf">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX

location = /secrets/unicorn.pdf {
  add_header X-Robots-Tag "noindex, nofollow";
}

Indexierungs- und Bereitstellungsanweisungen mit robots.txt-Anweisungen kombinieren

Robots-Meta-Tags und X-Robots-Tag-HTTP-Header werden beim Crawlen einer URL erfasst. Falls eine Seite aufgrund der robots.txt-Datei nicht gecrawlt werden darf, werden mögliche Informationen zur Indexierung oder Bereitstellung nicht gefunden und daher ignoriert. Falls Indexierungs- oder Bereitstellungsanweisungen befolgt werden müssen, darf kein Crawler daran gehindert werden, die URLs, die diese Anweisungen enthalten, zu crawlen.