Spezifikationen für Robots-Meta-Tags, Data-Nosnippet- und X-Robots-Tags

Zusammenfassung

In diesem Dokument wird beschrieben, wie Sie mithilfe der Einstellungen auf Seiten- und Textebene festlegen, wie Google Ihre Inhalte in den Suchergebnissen darstellt. Für Einstellungen auf Seitenebene können Sie ein Meta-Tag in HTML-Seiten oder in einen HTTP-Header einfügen. Einstellungen auf Textebene legen Sie mit dem data- nosnippet-Attribut für HTML-Elemente auf einer Seite fest.

Robots-Meta-Tag verwenden

Das Robots-Meta-Tag ermöglicht dir eine detaillierte, seitenspezifische Herangehensweise, bei der du angibst, wie eine bestimmte Seite indexiert und den Nutzern in Google-Suchergebnissen angezeigt werden soll. Platziere das Robots-Meta-Tag folgendermaßen im <head>-Abschnitt der jeweiligen Seite:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>

Das Robots-Meta-Tag im Beispiel oben weist Suchmaschinen an, die betreffende Seite nicht in den Suchergebnissen anzuzeigen. Der Wert des Attributs name (robots) gibt an, dass die Anweisung für alle Crawler gilt. Wenn du einen bestimmten Crawler ansprechen möchtest, ersetze den Wert robots des name-Attributs durch den Namen des entsprechenden Crawlers. Bestimmte Crawler werden auch als User-Agents bezeichnet. Ein Crawler verwendet seinen User-Agent, um eine Seite anzufordern. Der Standard-Web-Crawler von Google hat den User-Agent-Namen Googlebot. Wenn du nur den Googlebot am Crawlen deiner Seite hindern möchtest, aktualisiere das Tag folgendermaßen:

<meta name="googlebot" content="noindex" />

Dieses Tag weist Google an, diese Seite nicht in den Suchergebnissen anzuzeigen. Bei den Attributen name und content wird die Groß- und Kleinschreibung nicht berücksichtigt.

Suchmaschinen setzen unter Umständen für unterschiedliche Produkte oder Zwecke unterschiedliche Crawler ein. Weitere Informationen findest du in der vollständigen Liste der Google-Crawler. Wenn du beispielsweise möchtest, dass eine Seite in den Ergebnissen der Google Websuche, aber nicht in Google News angezeigt wird, verwendest du dazu das folgende Meta-Tag:

<meta name="googlebot-news" content="noindex" />

Wenn du mehrere Crawler einzeln angeben möchtest, verwendest du mehrere Robots-Meta-Tags:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

X-Robots-Tag-HTTP-Header verwenden

Das X-Robots-Tag kann als Element der HTTP-Header-Antwort für die jeweilige URL verwendet werden. Jede Anweisung, die in einem Robots-Meta-Tag verwendet werden kann, kann auch als X-Robots-Tag angegeben werden. Hier ein Beispiel einer HTTP-Antwort mit einem X-Robots-Tag, das Crawler anweist, eine Seite nicht zu indexieren:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

Du kannst in der HTTP-Antwort mehrere X-Robots-Tag-Header kombinieren oder eine durch Kommas getrennte Liste von Anweisungen bereitstellen. Hier ein Beispiel einer HTTP-Header-Antwort, in der ein noarchive X-Robots-Tag mit einem unavailable_after-X-Robots-Tag kombiniert wird.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

Im X-Robots-Tag kann bei Bedarf vor den Anweisungen ein User-Agent angegeben werden. Mit dem folgenden Satz von X-Robots-Tag-HTTP-Headern kann zum Beispiel das Anzeigen einer Seite in Suchergebnissen verschiedener Suchmaschinen unter bestimmten Bedingungen erlaubt werden:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

Anweisungen, die ohne User-Agent angegeben werden, sind für alle Crawler gültig. Die Groß- und Kleinschreibung muss weder beim HTTP-Header noch beim User-Agent-Namen oder den angegebenen Werten beachtet werden.

Gültige Indexierungs- und Bereitstellungsanweisungen

Mit den folgenden Anweisungen können die Indexierung und die Bereitstellung eines Snippets über das Robots-Meta-Tag und das X-Robots-Tag gesteuert werden. Ein Snippet ist ein kurzer Textauszug in den Suchergebnissen, der zeigt, wie relevant ein Dokument für die jeweilige Suchanfrage ist. In der unten stehenden Tabelle sind alle von Google befolgten Anweisungen und ihre Bedeutung aufgeführt. Jeder Wert stellt eine spezifische Anweisung dar. Mehrere Anweisungen können in einer durch Kommas getrennten Liste kombiniert werden. Bei diesen Anweisungen muss die Groß- und Kleinschreibung beachtet werden.

Anweisungen

all
Es bestehen keine Einschränkungen hinsichtlich der Indexierung oder Bereitstellung. Diese Anweisung ist der Standardwert und hat bei einer expliziten Auflistung keine Auswirkungen.
noindex
Diese Seite nicht in den Suchergebnissen anzeigen.
nofollow
Den Links auf dieser Seite nicht folgen.
none
Entspricht noindex, nofollow.
noarchive
Keinen im Cache gespeicherten Link in den Suchergebnissen anzeigen.
nosnippet
Kein Text-Snippet und keine Videovorschau in den Suchergebnissen für diese Seite anzeigen. Eine statische Miniaturansicht (falls verfügbar) ist weiterhin sichtbar, wenn das die Nutzererfahrung verbessert. Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder und Discover.
max-snippet:[number]

Höchstens [number] Zeichen als Textauszug für dieses Suchergebnis verwenden. Beachte, dass eine URL auf einer Suchergebnisseite möglicherweise über mehrere Ergebnisse hinweg angezeigt wird. Das hat keine Auswirkungen auf die Bild- oder Videovorschau. Die Anweisung gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder, Discover und Assistant. Diese Beschränkung gilt jedoch nicht, wenn ein Publisher die Genehmigung zur Verwendung von Inhalten separat erteilt hat. Sollte der Publisher beispielsweise Inhalte in Form von strukturierten In-Page-Daten zur Verfügung stellen oder eine Lizenzvereinbarung mit Google haben, wirkt sich diese Einstellung auf solche spezifischeren zulässigen Verwendungen nicht aus. Diese Anweisung wird ignoriert, wenn kein parsbarer [number]-Wert angegeben ist.

Spezielle Werte:

  • 0: Es soll kein Snippet angezeigt werden. Dies entspricht nosnippet.
  • -1: Es gibt keine Beschränkung für die Länge von Snippets.
  • Beispiel:

    <meta name="robots" content="max-snippet:20">
    max-image-preview:[setting]

    Legt die maximale Größe einer Bildvorschau in den Suchergebnissen für diese Seite fest.

    Akzeptierte setting-Werte:

  • none: Es soll keine Bildvorschau angezeigt werden.
  • standard: Eine Standardbildvorschau darf angezeigt werden.
  • large: Eine größere Bildvorschau, die maximal so breit ist wie der Darstellungsbereich, darf angezeigt werden.
  • Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder, Discover und Assistant. Diese Beschränkung gilt jedoch nicht, wenn ein Publisher die Genehmigung zur Verwendung von Inhalten separat erteilt hat. Sollte der Publisher beispielsweise Inhalte in Form von strukturierten In-Page-Daten zur Verfügung stellen (wie z. B. AMP- und kanonische Versionen eines Artikels) oder eine Lizenzvereinbarung mit Google haben, wirkt sich diese Einstellung auf solche spezifischeren zulässigen Verwendungen nicht aus.

    Wenn Publisher nicht möchten, dass bei Google größere Miniaturansichten zu sehen sind, wenn ihre AMP-Seiten und kanonische Versionen eines Artikels in der Suche und in Discover angezeigt werden, sollten sie einen max-image-preview-Wert von standard oder none festlegen.

    Beispiel:

    <meta name="robots" content="max-image-preview:standard">
    max-video-preview:[number]

    Wenn diese Seite Videos enthält, dürfen die Video-Snippets in den Suchergebnissen maximal [number] Sekunden lang sein.

    Weitere unterstützte Werte:

  • 0: Entsprechend der Einstellung für "max-image-preview" darf maximal ein statisches Bild verwendet werden.
  • -1: Es gibt kein Limit.
  • Dies gilt für alle Arten von Suchergebnissen, z. B. Google Websuche, Google Bilder, Google Videos, Discover und Assistant. Diese Anweisung wird ignoriert, wenn kein parsbarer [number]-Wert angegeben ist.

    Beispiel:

    <meta name="robots" content="max-video-preview:-1">
    notranslate
    Keine Übersetzung dieser Seite in Suchergebnissen anbieten.
    noimageindex
    Bilder auf dieser Seite nicht indexieren
    unavailable_after: [date/time]

    Diese Seite nach dem angegebenen Datum bzw. der angegebenen Uhrzeit nicht mehr in den Suchergebnissen anzeigen. Das Datum bzw. die Uhrzeit muss in einem gängigen Format angegeben werden, beispielsweise RFC 822, RFC 850 und ISO 8601. Diese Anweisung wird ignoriert, wenn kein gültiger [date/time]-Wert angegeben ist. Standardmäßig gibt es kein Ablaufdatum für Inhalte.

    Beispiel:

    <meta name="robots" content="unavailable_after: Sunday, 01-Sep-24 01:00:00 PDT">

    Umgang mit kombinierten Indexierungs- und Bereitstellungsanweisungen

    Du kannst eine Anweisung mit mehreren Anweisungen erstellen, indem du Robots-Meta-Tag-Anweisungen mit Kommas kombinierst. Hier ein Beispiel für ein Robots-Meta-Tag, das Web-Crawler anweist, die Seite nicht zu indexieren und keinen der Links auf der Seite zu crawlen:

    <meta name="robots" content="noindex, nofollow">
    

    Hier ist ein Beispiel, das das Text-Snippet auf 20 Zeichen begrenzt und eine große Bildvorschau ermöglicht:

    <meta name="robots" content="max-snippet:20, max-image-preview:large">
    

    Wenn mehrere Crawler mit unterschiedlichen Anweisungen angegeben sind, verwendet die Suchmaschine die Summe der negativen Anweisungen. Beispiel:

    <meta name="robots" content="nofollow">
    <meta name="googlebot" content="noindex">
    

    Wenn der Googlebot die Seite mit diesen Meta-Tags crawlt, wird sie so behandelt, als würde sie die Anweisung noindex, nofollow enthalten.

    Das HTML-Attribut "data-nosnippet" verwenden

    Das Attribut data-nosnippet wird im Lauf des Jahres 2019 von Google aktiviert.

    Du kannst Textteile einer HTML-Seite festlegen, die nicht als Snippet verwendet werden sollen. Auf HTML-Element-Ebene verwendest du dazu das HTML-Attribut data-nosnippet in den Elementen span,div und section. Das data-nosnippet wird als boolesches Attribut betrachtet und ist mit oder ohne Wert gültig. Der HTML-Abschnitt muss aus gültigem HTML-Code bestehen und alle Tags müssen entsprechend geschlossen sein, um die Maschinenlesbarkeit zu gewährleisten.

    Beispiele:

    <p>This text can be shown in a snippet
     <span data-nosnippet>and this part would not be shown</span>.</p>
    
    <div data-nosnippet>not in snippet</div>
    <div data-nosnippet="true">also not in snippet</div>
    
    <div data-nosnippet>some text</html>
    <!-- unclosed "div" will include all content afterwards -->
    
    <mytag data-nosnippet>some text</mytag>
    <!-- NOT VALID: not a span, div, or section -->
    

    In der Regel rendert Google Seiten, um sie zu indexieren. Das Rendern kann jedoch nicht garantiert werden. Das Extrahieren von data-nosnippet kann daher sowohl vor als auch nach dem Rendern stattfinden. Damit Ungewissheiten beim Rendern vermieden werden, solltest du das data-nosnippet-Attribut bestehender Knoten nicht über JavaScript hinzufügen oder entfernen. Schließe beim Hinzufügen von DOM-Elementen über JavaScript das Attribut data-nosnippet nach Bedarf ein, wenn du das Element zum ersten Mal dem DOM der Seite hinzufügst. Wenn du benutzerdefinierte Elemente verwendest, renderst du sie oder fasst sie mit den Elementen div, span oder section zusammen, wenn du data- nosnippet verwenden musst.

    Strukturierte Daten verwenden

    Robots-Meta-Tags steuern die Menge an Inhalten, die Google automatisch aus Webseiten extrahiert, um sie als Suchergebnisse anzuzeigen. Viele Publisher verwenden jedoch darüber hinaus mit schema.org strukturierte Daten, um ihre Informationen für eine bestimmte Form der Präsentation in der Suche verfügbar zu machen. Einschränkungen für Robots-Meta-Tags wirken sich nicht auf die Verwendung dieser strukturierten Daten aus. Ausgenommen davon sind die Werte article.description und description für strukturierte Daten, die für andere CreativeWorks angegeben wurden. Verwende das Robots-Meta-Tag max-snippet, um die maximale Länge einer Vorschau anhand dieser description-Werte anzugeben. Beispielsweise können recipe-strukturierte Daten auf einer Seite in das Rezeptkarussell aufgenommen werden, auch wenn die Textvorschau ansonsten eingeschränkt wäre. Du kannst die Länge einer Textvorschau mit max-snippet begrenzen, aber dieses Robots-Meta-Tag wird nicht angewendet, wenn die Informationen mithilfe von strukturierten Daten für Rich-Suchergebnisse bereitgestellt werden.

    Um die Verwendung strukturierter Daten für deine Webseiten zu verwalten, änderst du die strukturierten Datentypen und -werte selbst, indem du Informationen hinzufügst oder entfernst, um nur die Daten bereitzustellen, die du zur Verfügung stellen möchtest. Beachte außerdem, dass strukturierte Daten auch dann noch für Suchergebnisse verwendet werden können, wenn sie in einem data-nosnippet-Element deklariert sind.

    Praktische Implementierung von X-Robots-Tag

    Du kannst das X-Robots-Tag den HTTP-Antworten einer Website über die Konfigurationsdateien der Webserver-Software hinzufügen. Auf Apache-basierten Webservern kannst du beispielsweise .htaccess- und httpd.conf-Dateien verwenden. Die Verwendung eines X-Robots-Tag in Verbindung mit HTTP-Antworten hat den Vorteil, dass du Crawling-Anweisungen angeben kannst, die für die gesamte Website gelten. Die Unterstützung regulärer Ausdrücke ermöglicht einen hohen Grad an Flexibilität.

    Wenn du zum Beispiel der HTTP-Antwort das noindex, nofollow X-Robots-Tag für alle PDF-Dateien auf einer Website hinzufügen möchtest, fügst du das folgende Snippet in die .htaccess- oder httpd.conf-Stammdatei der Website in Apache oder in die .conf-Datei der Website in NGINX ein.

    Apache:

    <Files ~ "\.pdf$">
      Header set X-Robots-Tag "noindex, nofollow"
    </Files>
    

    NGINX:

    location ~* \.pdf$ {
      add_header X-Robots-Tag "noindex, nofollow";
    }
    

    Du kannst X-Robots-Tag bei Nicht-HTML-Dateien wie z. B. Bilddateien einsetzen, bei denen die Verwendung von Robots-Meta-Tags in HTML nicht möglich ist. Hier ist ein Beispiel für das Hinzufügen einer noindex-X-Robots-Tag-Anweisung für PNG-, JPEG-, JPG- und GIF-Bilddateien auf der gesamten Website:

    Apache:

    <Files ~ "\.(png|jpe?g|gif)$">
      Header set X-Robots-Tag "noindex"
    </Files>
    

    NGINX:

    location ~* \.(png|jpe?g|gif)$ {
      add_header X-Robots-Tag "noindex";
    }
    

    Crawling mit Indexierungs-/Bereitstellungsanweisungen kombinieren

    Robots-Meta-Tags und X-Robots-Tag-HTTP-Header werden beim Crawlen einer URL erfasst. Falls eine Seite aufgrund der robots.txt-Datei nicht gecrawlt werden darf, werden mögliche Informationen zur Indexierung oder Bereitstellung nicht gefunden und daher ignoriert. Falls Indexierungs- oder Bereitstellungsanweisungen befolgt werden sollen, darf kein Crawler daran gehindert werden, die URLs, die diese Anweisungen enthalten, zu crawlen.