„Crawler“ ist ein Oberbegriff für Programme wie Robots oder Spider, die Websites automatisch scannen, indem sie Links von einer Webseite zur nächsten folgen.
Der meistverwendete Crawler von Google ist der Googlebot. Die folgende Tabelle enthält Informationen zu den gängigen Google-Crawlern, die in den Verweisprotokollen aufgeführt werden können, und dazu, wie diese in der Datei robots.txt, den Robots-Meta-Tags und den HTTP-Anweisungen für X-Robots-Tag angegeben werden.
In der folgenden Tabelle sind Crawler aufgeführt, die von verschiedenen Produkten und Diensten bei Google verwendet werden:
-
Das User-Agent-Token wird in robots.txt in der Zeile
User-agent:verwendet und gibt an, für welchen Crawlertyp die Crawling-Regeln deiner Website gelten. Wie du in der Tabelle siehst, haben einige Crawler mehr als ein Token. Damit eine Regel angewendet wird, muss jedoch nur ein Crawler-Token übereinstimmen. Diese Liste ist nicht vollständig, umfasst jedoch die meisten Crawler, die du auf deiner Website sehen kannst. - Der vollständige User-Agent-String ist eine komplette Beschreibung des Crawlers und wird in der Anfrage und in deinen Webprotokollen angezeigt.
| Crawler | User-Agent-Token (Produkt-Token) | Vollständiger User-Agent-String |
|---|---|---|
| APIs-Google |
|
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html) |
| AdSense |
|
Mediapartners-Google |
|
(Prüft die Anzeigenqualität auf Webseiten, die für Android-Geräte optimiert sind) |
|
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome
Mobile Safari (compatible; AdsBot-Google-Mobile;
+http://www.google.com/mobile/adsbot.html)
|
|
(Prüft die Anzeigenqualität auf Webseiten, die für iPhones optimiert sind) |
|
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML,
like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile;
+http://www.google.com/mobile/adsbot.html)
|
|
(Prüft die Anzeigenqualität auf Webseiten, die für Computer optimiert sind) |
|
AdsBot-Google (+http://www.google.com/adsbot.html) |
| Googlebot-Image |
|
Googlebot-Image/1.0 |
| Googlebot-News |
|
Googlebot-News |
| Googlebot-Video |
|
Googlebot-Video/1.0 |
|
Googlebot (Computer) |
|
|
|
Googlebot (Smartphone) |
|
|
| Mobile AdSense |
|
(Verschiedene Mobilgerätetypen)
(compatible; Mediapartners-Google/2.1;
+http://www.google.com/bot.html)
|
|
(Prüft die Anzeigenqualität auf Seiten, die für Android-Apps optimiert sind. Folgt dabei den Robots-Regeln von AdsBot-Google.) |
|
AdsBot-Google-Mobile-Apps |
|
Ignoriert die Regeln von robots.txt. Informationen zu den Gründen |
|
|
|
Ignoriert die Regeln von robots.txt. Informationen zu den Gründen |
Aktuelle Agents:
Ehemaliger Agent (eingestellt): |
|
| Duplex im Web |
Ignoriert möglicherweise den Platzhalter |
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012;
DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131
Mobile Safari/537.36
|
|
Google Favicon (Ruft Favicons für verschiedene Dienste ab) |
Bei Nutzeranfragen werden robots.txt-Regeln ignoriert. |
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/49.0.2623.75 Safari/537.36 Google Favicon
|
| Web Light |
Ignoriert die Regeln von robots.txt. Informationen zu den Gründen |
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19
(KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
|
| Google StoreBot | Storebot-Google |
Desktop-Agent:
Mobilgeräte-Agent:
|
User-Agents in robots.txt
Werden mehrere User-Agents in der robots.txt-Datei erkannt, folgt Google dem spezifischsten. Sollen deine Seiten von allen Crawlern von Google gecrawlt werden, benötigst du keine robots.txt-Datei. Wenn du einen Teil deiner Inhalte für alle Google-Crawler sperren oder zulassen möchtest, gib den Googlebot als User-Agent an. Beispiel: Wenn alle deine Seiten in der Google Suche erscheinen und AdSense-Anzeigen auf deinen Seiten präsentiert werden sollen, brauchst du keine robots.txt-Datei. Falls du einige Seiten komplett für Google sperren möchtest, kannst du einfach den User-Agent Googlebot blockieren. Dadurch werden nämlich auch alle anderen User-Agents von Google blockiert.
Natürlich kannst du aber auch genauere Einstellungen vornehmen. Angenommen, du möchtest, dass alle deine Seiten in der Google Suche erscheinen, Bilder in deinem persönlichen Verzeichnis jedoch nicht gecrawlt werden. In diesem Fall kannst du über die robots.txt-Datei verhindern, dass der User-Agent Googlebot-Image die Dateien in deinem persönlichen Verzeichnis crawlt, der Googlebot hat aber weiter Zugriff auf alle Dateien. Das sieht dann so aus:
User-agent: Googlebot Disallow: User-agent: Googlebot-Image Disallow: /personal
Ein weiteres Beispiel: Angenommen, du möchtest Werbung auf allen deinen Seiten einblenden, die entsprechenden Seiten sollen aber nicht in der Google Suche erscheinen. In diesem Fall blockierst du den Googlebot, lässt aber den User-Agent Mediapartners-Google zu. Das sieht dann so aus:
User-agent: Googlebot Disallow: / User-agent: Mediapartners-Google Disallow:
User-Agents in Robots-Meta-Tags
Für manche Seiten werden mehrere Robots-Meta-Tags verwendet, um Anweisungen für verschiedene Crawler zu geben. Beispiel:
<meta name="robots" content="nofollow"> <meta name="googlebot" content="noindex">
In diesem Fall verwendet Google die Summe der negativen Anweisungen und der Googlebot folgt sowohl den noindex- als auch den nofollow-Anweisungen.
Hier findest du genauere Informationen dazu, wie du den Zugriff für Google auf Seiten deiner Website blockierst.