Google News crawlt jetzt mit dem Googlebot

Dienstag, 27. September 2011

Google News hat kürzlich seine Infrastruktur verbessert und crawlt nun mit dem Googlebot , dem primären User-Agent von Google. Was bedeutet das? Für die meisten Publisher bringt dies keine großen Veränderungen mit sich. Nachrichtenanbieter können sich immer noch jederzeit aus Google News abmelden. Google News akzeptiert auch weiterhin den Eintrag unseres ehemaligen User-Agents Google News , wenn dieser restriktivere Einstellungen aufweist, als der robots.txt-Eintrag für den Googlebot.

In unserer Hilfe erhaltet ihr eine detaillierte Anleitung zur Verwendung des Robots-Ausschlussprotokolls für Google News. Publisher können sich bei Fragen mit dem Google News-Support-Team in Verbindung setzen. Zuerst möchten wir jedoch Folgendes anmerken:

  • Obwohl in den Protokollen eurer Website nur noch der Googlebot-User-Agent zu sehen ist, ist die Anzeige des Googlebots anstelle des Googlebot-News unabhängig von unseren Richtlinien. Mit einer Suche mit dem Operator "site:" könnt ihr jederzeit überprüfen, ob eure Website in Google News enthalten ist. Gebt ihr in das Suchfeld von Google News beispielsweise "site:eurenewssite.com" ein und euch werden Ergebnisse angezeigt, wird eure Nachrichten-Website derzeit von uns indexiert.
  • Über euer Analysetool wird weiterhin unterschieden, ob Nutzer über die Google-Suche oder über Google News auf eure Website zugreifen. Diesbezüglich gibt es also keine Änderungen. Der Hauptunterschied besteht darin, dass euch keine gelegentlichen automatisierten Besuche eurer Website vom Googlebot-News-Crawler angezeigt werden.
  • Wenn ihr derzeit unsere Googlebot-Richtlinien befolgt, müsst ihr keine Code-Änderungen an eurer Website vornehmen. Für Websites, die gebührenpflichtige Abonnements oder First Click Free implementiert haben, ergeben sich keine Änderungen. Für Websites, auf denen vor dem Lesen eines vollständigen Artikels eine Registrierung, Zahlung oder Anmeldung erforderlich ist, kann Google News nur die Titel und Snippets crawlen und indexieren, die allen Besuchern eurer Website angezeigt werden. In unseren Richtlinien für Webmaster findet ihr zusätzliche Informationen zum Thema "Cloaking" , der unterschiedlichen Präsentation einer Website für den Bot und den Nutzer. Weitere Informationen über Google News und Abonnement-Publisher findet ihr in diesem Hilfeartikel .
  • Keine Sorge, eure Sitemap wird weiterhin gecrawlt. Diese Änderung betrifft nicht das Crawlen von News-Sitemaps. Publisher in Google News, die noch keine News-Sitemap eingerichtet haben, jedoch Interesse daran haben, finden weitere Informationen über diesen Link .
  • Publisher, die sich aus Google News abmelden, die Google-Suche jedoch weiterhin nutzen möchten, können den Googlebot-News ausschließen und dem Googlebot den Zugriff erlauben. Weitere Informationen hierzu findet ihr in unserer Hilfe .

Wie jede andere Website müssen wir auch die Infrastruktur von Google News gelegentlich aktualisieren. Gleichzeitig möchten wir aber weiterhin eine optimale Kontrolle der Nachrichten-Websites ermöglichen. Wir hoffen, alle Fragen zu diesem Update beantwortet zu haben. Weitere Informationen erhalten ihr in unserer Hilfe .

Autor: David Smydra, Google News Product Specialist (Veröffentlicht von Dominik Zins, Search Quality)