Mythen und Fakten zum Crawling

Testen Sie Ihr Wissen dazu, wie Google Websites crawlt.

Durch die Komprimierung von Sitemaps lässt sich das Crawling-Budget erhöhen.

Wahr

Falsch

Das funktioniert nicht. Komprimierte Sitemaps müssen weiterhin vom Server abgerufen werden, sodass Google nicht viel Crawling-Zeit oder Aufwand spart, wenn du komprimierte Sitemaps sendest.

Da Google aktuellere Inhalte bevorzugt, sollten an einer Seite immer wieder kleine Änderungen vorgenommen werden.

Wahr

Falsch

Bei der Google Suche werden Inhalte nach ihrer Qualität und nicht nach dem Alter bewertet. Erstelle und aktualisiere Inhalte, wenn es nötig ist. Es bringt nichts, Seiten durch unbedeutende Änderungen und Aktualisierung des Seitendatums künstlich neuer wirken zu lassen.

Google bevorzugt alte Inhalte gegenüber neuen Inhalten.

Wahr

Falsch

Wenn deine Seite nützlich ist, ist sie das unabhängig von ihrem Alter.

Google bevorzugt „saubere“ URLs und mag keine Suchparameter.

Wahr

Falsch

Wir können Parameter crawlen.

Je schneller deine Seiten geladen und gerendert werden, desto mehr Inhalte kann Google crawlen.

Wahr

Stimmt in gewisser Weise: Unsere Ressourcen werden durch die verfügbare Zeit und die Anzahl der Crawling-Bots begrenzt. Wenn du uns innerhalb eines begrenzten Zeitraums mehr Seiten zur Verfügung stellst, können wir mehr Seiten crawlen. Es kann jedoch sein, dass wir mehr Zeit für das Crawling einer Website mit wichtigen Informationen aufwenden, selbst wenn die Website langsamer ist. Eine Website schneller zu machen, bringt wahrscheinlich mehr für die Nutzerfreundlichkeit als für die Crawling-Abdeckung. Es ist viel einfacher, Google dabei zu helfen, die richtigen Inhalte zu crawlen, als jedes Mal alle deine Inhalte zu crawlen. Beachte, dass beim Crawling einer Website die Inhalte sowohl abgerufen als auch gerendert werden müssen. Der Zeitaufwand beim Rendern einer Seite spielt genauso eine Rolle wie der Zeitaufwand beim Anfordern der Seite. Wenn sich deine Seiten also schneller rendern lassen, erhöht sich dadurch auch die Crawling-Geschwindigkeit.

Falsch

Kleine Websites werden nicht so oft gecrawlt wie große.

Wahr

Falsch

Wenn auf einer Website wichtige Inhalte bereitgestellt werden, die sich häufig ändern, wird sie von uns unabhängig von der Größe häufig gecrawlt.

Je näher sich ein Inhalt an der Startseite befindet, als desto wichtiger stuft Google ihn ein.

Wahr

Stimmt teilweise

Die Startseite einer Website ist oft die wichtigste Seite. Daher werden Seiten, die direkt mit der Startseite verknüpft sind, eventuell als wichtiger betrachtet und darum häufiger gecrawlt. Das bedeutet jedoch nicht, dass diese Seiten ein höheres Ranking als andere Seiten der Website haben.

Falsch

Versionsangaben in URLs sind eine gute Möglichkeit, Google zum erneuten Crawling von Seiten zu bewegen.

Wahr

Stimmt teilweise

Wenn du für eine Seite eine URL mit einer Versionsangabe verwendest, wird Google die Seite wahrscheinlich eher crawlen. Oft ist das aber unnötig und führt zur Verschwendung von Crawling-Ressourcen, falls die Seite nicht tatsächlich geändert wurde. Falls du URLs mit Versionsangaben verwendest, um auf neue Inhalte hinzuweisen, solltest du die URL nur ändern, wenn sich der Seiteninhalt in relevanter Weise geändert hat.

Falsch

Die Websitegeschwindigkeit und Fehler wirken sich auf das Crawling-Budget aus.

Wahr

Eine schnellere Website ist nutzerfreundlicher und ermöglicht gleichzeitig eine höhere Crawling-Frequenz. Für die Crawler von Google ist eine schnelle Website ein Zeichen für gut funktionierende Server. So können sie mehr Inhalte über die gleiche Anzahl von Verbindungen abrufen. Auf der anderen Seite deuten zahlreiche 5xx-HTTP-Antwortcodes (Serverfehler) oder Zeitüberschreitungen beim Verbindungsaufbau auf das Gegenteil hin und das Crawling verlangsamt sich. Wir empfehlen, den Bericht „Crawling-Statistik“ in der Search Console zu beobachten und die Anzahl der Serverfehler möglichst gering zu halten.

Falsch

Das Crawling spielt eine Rolle für das Ranking in der Google Suche.

Wahr

Falsch

Eine höhere Crawling-Frequenz führt nicht zwangsläufig zu besseren Positionen in den Google-Suchergebnissen. Google nutzt viele Indikatoren für das Ranking von Ergebnissen. Das Crawling ist zwar erforderlich, damit eine Seite in den Suchergebnissen erscheint, spielt aber keine Rolle für das Ranking.

Alternative URLs und eingebettete Inhalte nehmen Crawling-Budget in Anspruch.

Wahr

Im Allgemeinen wird für jede URL, die der Googlebot crawlt, ein Teil des Crawling-Budgets der Website in Anspruch genommen. Alternative URLs, wie URLs von AMP-Seiten oder hreflang-Versionen, sowie eingebettete Inhalte wie CSS und JavaScript, einschließlich XHR-Abrufen, müssen gecrawlt werden und verbrauchen einen Teil des Crawling-Budgets einer Website.

Falsch

Die Crawler von Google können mit der Regel „crawl-delay“ gesteuert werden.

Wahr

Falsch

Die nicht zum Standard gehörende robots.txt-Regel „crawl-delay“ wird von den Crawlern von Google nicht verarbeitet.

Die Regel nofollow wirkt sich auf das Crawling-Budget aus.

Wahr

Stimmt teilweise

Jede gecrawlte URL wirkt sich auf das Crawling-Budget aus. Selbst wenn eine URL im Code deiner Seite mit nofollow gekennzeichnet ist, kann sie gecrawlt werden, falls eine andere Seite deiner Website oder eine beliebige Seite im Web die URL nicht mit nofollow gekennzeichnet hat.

Falsch

Ich kann das Crawling-Budget mit noindex steuern.

Wahr

Stimmt teilweise

Jede gecrawlte URL wirkt sich auf das Crawling-Budget aus. Damit die noindex-Regel gefunden wird, muss Google die Seite crawlen.

noindex soll dir aber dabei helfen, bestimmte Dinge aus dem Index herauszuhalten. Wenn du sichergehen möchtest, dass diese Seiten nicht in den Google-Index aufgenommen werden, kannst du noindex weiterhin nutzen und brauchst dir keine Gedanken um das Crawling-Budget zu machen. Wenn du URLs mit noindex oder auf andere Weise aus dem Google-Index entfernst, können sich die Google-Crawler auf andere URLs auf deiner Website konzentrieren. noindex kann also langfristig indirekt das Crawling-Budget deiner Website entlasten.

Falsch

Seiten mit 4xx-HTTP-Statuscodes verschwenden einen Teil des Crawling-Budgets.

Wahr

Falsch

Seiten, die 4xx-HTTP-Statuscodes (außer 429) bereitstellen, verschwenden nichts vom Crawling-Budget. Google hat versucht, die Seite zu crawlen, hat jedoch einen Statuscode und keine anderen Inhalte erhalten.