Montag, 2. Mai 2011
Da sitzt ihr also vorm Computer und lasst euch von den Webmaster-Tools zeigen, wie toll eure Website ist – aber Moment einmal! Auf der Seite Crawling-Fehler findet ihr viele 404 (Not found)-Fehler.
Steht eine Katastrophe bevor?
Keine Sorge, mein junger Padawan. Sehen wir uns die 404-Fehler und ihre Auswirkungen auf eure Website an:
F: Wirken sich die in den Webmaster-Tools gemeldeten 404-Fehler auf das Ranking meiner Website aus?
A: 404-Fehler sind ein ganz normaler Teil des Webs. Das Internet ändert sich ständig, neue Inhalte werden erstellt, alte Inhalte werden gelöscht und wenn sie gelöscht werden, wird idealerweise der HTTP-Antwortcode 404 zurückgegeben. Suchmaschinen wissen das. Wir haben schon 404-Fehler auf unseren eigenen Seiten gefunden, und, wie ihr oben seht, finden wir sie im gesamten Web. Wir bevorzugen es sogar, dass ihr, wenn ihr eine Seite auf eurer Website löscht, dafür sorgt, dass sie einen 404- oder 410-Antwortcode (statt eines soft
404) zurückgibt. Damit unser Crawler den HTTP-Antwortcode einer URL sehen kann, muss er in der Lage sein, diese URL zu crawlen. Wenn die URL von eurer robots.txt-Datei blockiert wird, geht das nicht und wir können ihren Antwortcode nicht sehen. Die Tatsache, dass einige URLs auf eurer Website nicht mehr existieren oder 404-Fehler zurückgegeben, hat keinen Einfluss darauf, wie die anderen URLs eurer Website (jene, die 200 (Success)-Statuscodes zurückgeben) in unseren Suchergebnissen abschneiden.
F: Also beeinträchtigen 404-Fehler meine Website überhaupt nicht?
A: Die bloße Tatsache, dass einige URLs auf eurer Website 404 zurückgeben, hat keine negativen Auswirkungen, auch nicht auf das Abschneiden in den Google-Suchergebnissen. Es gibt jedoch andere Gründe, warum ihr bestimmte Arten von 404-Fehlern vermeiden solltet. Wenn einige der Seiten mit 404 Seiten sind, die euch wichtig sind, solltet ihr euch ansehen, warum beim Crawlen 404-Fehler auftreten. Falls ihr eine falsche Schreibweise einer legitimen URL seht, etwa www.beispiel.de/fantastich statt www.beispiel.de/fantastisch, hat sich wahrscheinlich einfach jemand vertippt, als er einen Link zu der Seite erstellen wollte. Statt einen 404-Fehler zurückzugeben, könntet ihr eine 301-Weiterleitung zur richtigen URL für die falsch geschriebene URL einrichten und so die über diesen Link erfolgenden Zugriffe erfassen. Ihr könnt auch dafür sorgen, dass ihr Nutzern, die auf einer 404-Seite auf eurer Website landen, helft, das Gesuchte zu finden, statt nur "404 Nicht gefunden" anzuzeigen.
F: Ich hätte gern weitere Informationen zu „soft 404-Fehlern“.
A: Ein soft 404 liegt vor, wenn ein Webserver einen anderen Antwortcode als 404 (oder 410) für eine nicht vorhandene URL zurückgibt. Ein gängiges Beispiel ist, wenn ein Websiteinhaber eine schöne 404-Seite mit nützlichen Informationen für seine Nutzer zurückgeben möchte und denkt, dass er einen 200-Antwortcode zurückgeben muss, um für seine Nutzer Inhalte bereitzustellen. Das ist nicht der Fall! Ihr könnt den Antwortcode 404 in Verbindung mit beliebigen Inhalten zurückgeben. Ein weiteres Beispiel: Eine Website leitet bei unbekannten URLs zu ihrer Startseite weiter, statt 404-Fehler zurückzugeben. In beiden Beispielen kommt es zu negativen Auswirkungen auf unsere Interpretation und Indexierung eurer Website. Daher solltet ihr dafür sorgen, dass euer Server für nicht vorhandene Inhalte den richtigen Antwortcode zurückgibt. Nur weil eine Seite „404 Nicht gefunden“ sagt, bedeutet das nicht, dass sie tatsächlich einen 404-HTTP-Antwortcode zurückgibt. Verwendet die Funktion Abruf wie durch Googlebot in den Webmaster-Tools, um das zu prüfen. Falls ihr nicht wissen solltet, wie ihr euren Server so konfiguriert, dass er die richtigen Antwortcodes zurückgibt, findet ihr entsprechende Informationen in der Hilfedokumentation eures Webhosting-Anbieters.
F: Woher weiß ich, ob eine URL den Code 404, 301 oder 410 zurückgeben sollte?
A: Wenn ihr eine Seite von eurer Website entfernt, überlegt euch, ob ihr die betreffenden Inhalte an eine andere Stelle verschieben oder gänzlich entfernen möchtet. Falls ihr die Inhalte zu einer neuen URL verschiebt, solltet ihr per 301-Weiterleitung von der alten URL auf die neue URL verweisen. Wenn die Nutzer dann auf der Suche nach den Inhalten die alte URL aufrufen, gelangen sie automatisch zu für sie relevanten Informationen. Wenn Sie dagegen die Informationen vollständig löschen, ohne etwas Entsprechendes auf Ihrer Website anzubieten, sollte die alte URL den Code 404 oder 410 zurückgeben. Google behandelt 410 (Gone) derzeit wie 404 (Not found). Daher ist es für uns unerheblich, ob ihr das eine oder das andere zurückgebt.
F: Die meisten meiner 404-Fehler betreffen bizarre URLs, die es auf meiner Website nie gegeben hat.
Was hat es damit auf sich? Woher kommen die?
A: Wenn Google irgendwo im Web einen Link findet, der auf eine URL aus eurer Domain verweist, wird eventuell versucht, diesen Link zu crawlen, und zwar unabhängig davon, ob es dort tatsächlich Inhalte gibt. In solchen Fällen sollte euer Server einen 404-Fehler zurückgeben, wenn es nichts anzuzeigen gibt. Diese Links können zum Beispiel entstanden sein, weil jemand sich bei ihrer Erstellung vertippt hat, irgendeine Art von Fehlkonfiguration vorliegt, etwa wenn die Links automatisch generiert wurden, beispielsweise durch ein CMS (Content Management System), oder aufgrund der verstärkten Bemühungen von Google, in JavaScript eingebettete Links oder sonstige eingebettete Inhalte zu erkennen und zu crawlen. Sie können auch Bestandteil kurzer Checks unsererseits sein, um festzustellen, wie euer Server unbekannte URLs behandelt. Das sind nur einige Möglichkeiten. Falls euch in den Webmaster-Tools 404-Fehler für URLs gemeldet werden, die auf eurer Website nicht existieren, könnt ihr sie ruhigen Gewissens ignorieren. Wir wissen ja nicht, welche URLs für euch wichtig sind bzw. welche 404-Fehler zurückgeben sollten. Daher zeigen wir euch alle 404-Fehler, die wir auf eurer Website finden, sodass ihr selbst entscheiden könnt, welche davon eure Aufmerksamkeit erfordern.
F: Ein Scraper hat meine Website übernommen und dabei haufenweise 404-Fehler verursacht. Das sind alles „echte“ URLs, die mit anderem Code versehen wurden, beispielsweise https://www.example.com/images/kittens.jpg" width="100" height="300" alt="kittens"/>. Schadet das meiner Website?
A: Im Allgemeinen müsst ihr nicht befürchten, dass solche „fehlerhaften Links“ eurer Website schaden. Uns ist klar, dass Websiteinhaber wenig gegen Scraper oder Personen ausrichten können, die merkwürdige Links zu ihrer Website erstellen. Falls ihr euch richtig gut mit regulären Ausdrücken auskennt, könntet ihr versuchen, diese URLs wie hier beschrieben weiterzuleiten, aber meistens ist es die Mühe nicht wert. Wenn ihr glaubt, dass jemand Originalinhalte von eurer Website stiehlt, könnt ihr auch einen Antrag auf Entfernung stellen.
F: Letzte Woche habe ich alle von den Webmaster-Tools gemeldeten 404-Fehler behoben, aber sie werden in meinem Konto immer noch aufgeführt. Habe ich beim Korrigieren Fehler gemacht? Wie lange dauert es, bis sie verschwinden?
A: Seht euch einmal die Spalte "Erkannt" auf der Seite "Crawling-Fehler" an. Dort findet ihr das letzte Datum, an dem wir den jeweiligen Fehler gefunden haben. Falls die Datumsangaben in dieser Spalte vor dem Zeitpunkt liegen, an dem ihr die Fehler behoben habt, bedeutet dies, dass wir die Fehler seitdem nicht mehr gefunden haben. Sind die Datumsangaben jedoch aktueller, erkennen wir die entsprechenden 404-Fehler beim Crawlen immer noch.
Nachdem ihr eine Korrektur implementiert habt, könnt ihr mithilfe von Abruf wie durch Googlebot überprüfen, ob unser Crawler den neuen Antwortcode erkennt. Testet ein paar URLs. Falls diese korrekt aussehen, sollten diese Fehler demnächst nach und nach aus eurer Liste mit Crawling-Fehlern verschwinden.
F: Kann die Entfernung der 404-Fehler aus meinem Konto mit dem Tool zum Entfernen von URLs beschleunigt werden?
A: Nein. Mit dem Tool werden URLs aus den Suchergebnissen von Google und nicht aus eurem Webmaster-Tools-Konto entfernt. Es ist nur für dringende Anträge auf Entfernung gedacht und muss nicht verwendet werden, wenn eine URL ohnehin schon einen 404-Fehler zurückgibt, da diese URLs mit der Zeit automatisch aus unseren Suchergebnissen verschwinden. In der unteren Hälfte dieses Blogposts findet ihr nähere Informationen darüber, was ihr mit dem Tool zum Entfernen von URLs tun könnt und was nicht.
Möchtet ihr noch mehr über 404-Fehler erfahren? Seht euch die Beiträge zur 404-Woche in unserem Blog an oder besucht unser Webmaster-Hilfeforum.