Auswirkungen von HTTP-Statuscodes auf die Crawler von Google

Auf dieser Seite wird beschrieben, wie sich verschiedene HTTP-Statuscodes auf die Fähigkeit von Google auswirken, deine Webinhalte zu crawlen. Dabei gehen wir auf die 20 wichtigsten Statuscodes ein, die Google im Internet findet. Selten auftretende Statuscodes wie 418 (I'm a teapot) werden nicht berücksichtigt.

HTTP-Statuscodes

HTTP-Statuscodes werden von dem Server generiert, auf dem die Website gehostet wird, wenn er auf eine Anfrage von einem Client (z. B. einem Browser oder Crawler) antwortet. Jeder HTTP-Statuscode hat eine bestimmte Bedeutung, aber das Ergebnis der Anfrage ist oft das gleiche. Beispielsweise gibt es mehrere Statuscodes, die eine Weiterleitung signalisieren, das Ergebnis ist aber jeweils identisch.

Die Search Console generiert Fehlermeldungen für Statuscodes im Bereich 4xx—5xx und für fehlgeschlagene Weiterleitungen (3xx). Wenn der Server den Statuscode 2xx zurückgegeben hat, wird der in der Antwort empfangene Inhalt möglicherweise bei der Indexierung berücksichtigt.

Die folgende Tabelle enthält die am häufigsten von Google festgestellten HTTP-Statuscodes sowie eine Erklärung dazu, wie Google die einzelnen Statuscodes verarbeitet.

HTTP-Statuscodes

2xx (success)

Google zieht den Inhalt für die Verarbeitung in Betracht (z. B. im Fall der Google Suche für die Indexierung). Wenn der Inhalt auf einen Fehler für die Google Suche, eine leere Seite oder eine Fehlermeldung hindeutet, zeigt die Search Console einen soft 404-Fehler an.

200 (success)

Google leitet die empfangenen Daten an den nächsten Verarbeitungsschritt weiter (der produktspezifisch ist). Für die Google Suche ist das nächste System die Indexierungspipeline. Möglicherweise wird der Inhalt von den Indexierungssystemen anschließend auch indexiert, eine Garantie dafür gibt es jedoch nicht.

201 (created)
202 (accepted)

Google wartet eine bestimmte Zeit lang auf den Inhalt und gibt die empfangenen Inhalte dann an den nächsten Verarbeitungsschritt weiter (der produktspezifisch ist). Das Zeitlimit hängt vom User-Agent ab. Beispielsweise kann der Googlebot (Smartphone) ein anderes Zeitlimit haben als der Googlebot-Image.

204 (no content)

Google konnte keine Inhalte empfangen und daher auch keine verarbeiten.

3xx (redirection)

Standardmäßig folgen die Crawler von Google bis zu zehn Weiterleitungs-Hops. Bei Crawlern für bestimmte Produkte gelten jedoch möglicherweise andere Beschränkungen. Der Googlebot folgt beim Crawlen allgemeiner Webinhalte in der Regel bis zu 10 Weiterleitungs-Hops, die Google-Prüftools folgen hingegen keinen Weiterleitungs-Hops.

Inhalte, die Google über die weiterleitende URL empfängt, werden ignoriert und stattdessen wird der Inhalt der finalen Ziel-URL verarbeitet. Informationen dazu, wie Google mit einer robots.txt-Datei umgeht, die einen 3xx-Statuscode zurückgibt

301 (moved permanently)

Google folgt der Weiterleitung und die Google-Systeme verwenden die Weiterleitung als starkes Signal dafür, dass das Weiterleitungsziel verarbeitet werden sollte.

302 (found)

Standardmäßig folgen die Crawler von Google der Weiterleitung und die Google-Systeme verwenden die Weiterleitung als schwaches Signal dafür, dass das Weiterleitungsziel verarbeitet werden soll. Bei anderen Produkten wird die Weiterleitung möglicherweise anders gehandhabt.

303 (see other)
304 (not modified)

Die Google-Crawler signalisieren dem nächsten Verarbeitungssystem, dass sich der Inhalt seit dem letzten Crawling nicht geändert hat. Bei der Google Suche werden Signale für die URL in der Indexierungspipeline möglicherweise neu berechnet. Ansonsten hat der Statuscode keine Auswirkung auf die Indexierung.

307 (temporary redirect) Gleichbedeutend mit 302.
308 (moved permanently) Gleichbedeutend mit 301.

4xx (client errors)

Google verwendet keine Inhalte von URLs, die 4xx-Statuscodes zurückgeben. Wenn eine URL zuvor verwendet wurde, jetzt aber den Statuscode 4xx zurückgibt, wird sie nach und nach nicht mehr von Google-Systemen verwendet. In der Google Suche werden keine URLs indexiert, die den Statuscode 4xx zurückgeben. URLs, die bereits indexiert sind und den Statuscode 4xx zurückgeben, werden aus dem Index entfernt.

Alle Inhalte, die Google über URLs empfangen hat und die den Statuscode 4xx zurückgeben, werden ignoriert.

400 (bad request)

Alle 4xx-Fehler mit Ausnahme von 429 werden gleich behandelt: Die Google-Crawler informieren das nächste Verarbeitungssystem darüber, dass die Inhalte nicht vorhanden sind.

Im Fall der Google Suche wird die URL durch die Indexierungspipeline aus dem Index entfernt, wenn sie zuvor indexiert wurde. Neue 404-Seiten werden nicht verarbeitet. Die Crawling-Frequenz nimmt allmählich ab.

401 (unauthorized)
403 (forbidden)
404 (not found)
410 (gone)
411 (length required)
429 (too many requests)

Der Statuscode 429 wird von den Google-Crawlern als Signal dafür verstanden, dass der Server überlastet ist. Dieser Code gilt als Serverfehler.

5xx (server errors)

Die Serverfehler 5xx und 429 sorgen dafür, dass die Crawler von Google das Crawling vorübergehend verlangsamen. Bei der Google Suche bleiben bereits indexierte URLs vorerst im Index, werden aber schließlich entfernt.

Alle Inhalte, die Google über URLs empfangen hat und die den Statuscode 5xx zurückgeben, werden ignoriert. Informationen dazu, wie Google mit einer robots.txt-Datei umgeht, die einen 5xx-Statuscode zurückgibt

Sobald der Server mit einem 2xx-Statuscode antwortet, erhöht Google die Crawling-Frequenz für die Website nach und nach.

500 (internal server error)

Google verringert dann die Crawling-Frequenz für diese Website. Die Verlangsamung der Crawling-Frequenz ist proportional zur Anzahl der einzelnen URLs, für die ein Serverfehler zurückgegeben wird. Für die Google Suche werden URLs, die dauerhaft einen Serverfehler zurückgeben, durch die Indexierungspipeline von Google aus dem Index entfernt.

502 (bad gateway)
503 (service unavailable)