Przegląd robotów Google (klientów użytkownika)

„Robot” to ogólne określenie dowolnego programu służącego do automatycznego odnajdywania i skanowania witryn przez podążanie za linkami od strony do strony. Główny robot indeksujący Google nazywa się Googlebot. Ta tabela zawiera informacje na temat najpopularniejszych robotów Google, które możesz zobaczyć w dziennikach strony odsyłającej, oraz sposobu ich określania w pliku robots.txt, tagach robots meta i regułach HTTP X-Robots-Tag.

Tabela przedstawia roboty używane przez różne produkty i usługi w Google:

• Token klienta użytkownika jest używany w wierszu User-agent: w pliku robots.txt i reprezentuje typ robota podczas pisania reguł indeksowania Twojej witryny. Jak pokazujemy w tabeli, niektóre roboty odpowiadają więcej niż jednemu tokenowi. Wystarczy, że użyjesz tylko jednego pasującego tokena robota, aby reguła została zastosowana. Lista nie jest kompletna, ale obejmuje większość robotów, które możesz zobaczyć w swojej witrynie.
• Pełny ciąg znaków klienta użytkownika to pełny opis robota widoczny w żądaniu HTTP i dziennikach witryny.
  Ostrzeżenie: ciąg znaków klienta użytkownika może być sfałszowany. Jak sprawdzić, czy użytkownik jest robotem Google

Roboty
APIs-Google	Token klienta użytkownika APIs-Google Pełny ciąg znaków klienta użytkownika APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdsBot Mobile Web Android	AdsBot Mobile Web na Androida ignoruje symbol wieloznaczny *. Sprawdza jakość reklam na stronie internetowej na urządzeniu z Androidem. Token klienta użytkownika AdsBot-Google-Mobile Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot Mobile Web	AdsBot Mobile Web ignoruje symbol wieloznaczny *. Sprawdza jakość reklam na stronie internetowej na iPhonie. Token klienta użytkownika AdsBot-Google-Mobile Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
AdsBot	AdsBot ignoruje symbol wieloznaczny * Sprawdza jakość reklam na stronie internetowej na komputerze. Token klienta użytkownika AdsBot-Google Pełny ciąg znaków klienta użytkownika AdsBot-Google (+http://www.google.com/adsbot.html)
AdSense	Token klienta użytkownika Mediapartners-Google Pełny ciąg znaków klienta użytkownika Mediapartners-Google
Googlebot Image	Tokeny klienta użytkownika Googlebot-Image Googlebot Pełny ciąg znaków klienta użytkownika Googlebot-Image/1.0
Googlebot News	Tokeny klienta użytkownika Googlebot-News Googlebot Pełny ciąg znaków klienta użytkownika Klient użytkownika Googlebot-News używa różnych ciągów znaków klienta użytkownika Googlebota.
Centrum wydawców Google	Uwaga: Centrum wydawców Google nie przestrzega reguł zawartych w pliku robots.txt. Pobiera i przetwarza kanały podane przez wydawców w Centrum wydawców Google do wykorzystania na stronach docelowych w Wiadomościach Google. Token klienta użytkownika GoogleProducer Pełny ciąg znaków klienta użytkownika GoogleProducer; (+http://goo.gl/7y4SX)
Googlebot Video	Tokeny klienta użytkownika Googlebot-Video Googlebot Pełny ciąg znaków klienta użytkownika Googlebot-Video/1.0
Komputerowy Googlebot	Token klienta użytkownika Googlebot Pełne ciągi znaków klienta użytkownika Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot indeksujący strony na smartfony	Token klienta użytkownika Googlebot Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mobile AdSense	Token klienta użytkownika Mediapartners-Google Pełny ciąg znaków klienta użytkownika (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Mobile Apps Android	Mobile Apps Android ignoruje symbol wieloznaczny *. Sprawdza jakość reklam na stronie aplikacji na Androida. Działa zgodnie z regułami dotyczącymi robota AdsBot-Google. Token klienta użytkownika AdsBot-Google-Mobile-Apps Pełny ciąg znaków klienta użytkownika AdsBot-Google-Mobile-Apps
Moduł pobierania kanałów	Uwaga: moduł pobierania kanałów nie przestrzega reguł zawartych w pliku robots.txt. Token klienta użytkownika FeedFetcher-Google Pełny ciąg znaków klienta użytkownika FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)
Google Read Aloud	Uwaga: Google Read Aloud nie przestrzega reguł zawartych w pliku robots.txt. Token klienta użytkownika Google-Read-Aloud Pełne ciągi znaków klienta użytkownika Obecnie używane klienty: Klient na komputerze: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers) Klient na urządzeniu mobilnym: Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers) Wcześniej używany klient (wycofany): google-speakr
Google Favicon	Uwaga: w przypadku żądań zainicjowanych przez użytkownika Google Favicon ignoruje reguły w pliku robots.txt. Token klienta użytkownika Googlebot-Image Googlebot Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
Google StoreBot	Token klienta użytkownika Storebot-Google Pełne ciągi znaków klienta użytkownika Klient na komputerze: Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 Klient na urządzeniu mobilnym: Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36
Robot Google do weryfikacji witryn	Uwaga: robot Google do weryfikacji witryn ignoruje reguły w pliku robots.txt. Token klienta użytkownika Google-Site-Verification Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

Uwaga dotycząca Chrome/W.X.Y.Z w klientach użytkownika

W każdym miejscu w tabeli, w którym pojawia się ciąg znaków Chrome/W.X.Y.Z, W.X.Y.Z jest w rzeczywistości symbolem zastępczym reprezentującym wersję przeglądarki Chrome używaną przez tego klienta użytkownika, na przykład 41.0.2272.96. Numer wersji zwiększa się wraz ze zmianami numeru najnowszych wersji Chromium używanych przez Googlebota.

Wyszukując dane w dziennikach lub filtrując serwer pod kątem klienta użytkownika z tym wzorcem, zamiast dokładnego numeru wersji lepiej będzie użyć symboli wieloznacznych.

Klienty użytkownika w pliku robots.txt

Jeśli w pliku robots.txt zostanie rozpoznane kilka klientów użytkownika, Google użyje najmniej ogólnego z nich. Jeśli wszystkie roboty Google mają mieć dostęp do Twoich stron, plik robots.txt nie jest w ogóle potrzebny. Jeśli chcesz zablokować lub dopuścić dostęp wszystkich robotów Google do określonej zawartości, możesz to zrobić, wskazując Googlebot jako klienta użytkownika. Jeśli na przykład chcesz, aby wszystkie Twoje strony były wyświetlane w wyszukiwarce Google i żeby pojawiały się na nich reklamy AdSense, plik robots.txt nie jest potrzebny. Jeśli chcesz całkowicie zablokować dostęp robotów Google do niektórych stron, zablokowanie klienta użytkownika Googlebot spowoduje również zablokowanie wszystkich innych klientów użytkownika Google.

Jeśli chcesz mieć większą kontrolę, możesz skorzystać z bardziej szczegółowych ustawień. Załóżmy na przykład, że chcesz, żeby wszystkie Twoje strony były wyświetlane w wyszukiwarce Google, ale nie życzysz sobie indeksowania zdjęć znajdujących się w Twoim katalogu prywatnym. W takim przypadku skorzystaj z pliku robots.txt, aby zabronić klientowi użytkownika Googlebot-Image indeksowania plików w katalogu prywatnym, ale jednocześnie zezwolić Googlebotowi na indeksowanie wszystkich plików:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Oto inny przykład. Załóżmy, że chcesz wyświetlać reklamy na wszystkich swoich stronach, ale nie chcesz, aby te strony pojawiały się w wyszukiwarce Google. W takiej sytuacji zablokuj Googlebota, ale dopuść klienta użytkownika Mediapartners-Google:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Klienty użytkownika w tagach robots meta

Na niektórych stronach używanych jest wiele tagów robots meta, które określają reguły dla różnych robotów. Na przykład:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

W takich przypadkach roboty Google będą przestrzegać wszystkich podanych reguł wykluczających, a Googlebot będzie przestrzegać zarówno reguły noindex, jak i nofollow. Więcej informacji o tym, jak kontrolować sposób indeksowania stron przez Google

Kontrolowanie szybkości indeksowania

Poszczególne roboty Google uzyskują dostęp do witryn w określonym celu i z różną szybkością. Google używa algorytmów, żeby dla każdej witryny określić optymalną szybkość indeksowania. Jeśli robot Google zbyt często indeksuje Twoją witrynę, możesz zmniejszyć szybkość indeksowania.

Wycofane roboty Google

Poniższe roboty Google nie są już używane. Są one wymienione tutaj tylko jako dane historyczne.

Wycofane roboty Google
Google Duplex on the web	Obsługiwał usługę Duplex on the web. Token klienta użytkownika DuplexWeb-Google Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36 Uwaga: Duplex on the web może ignorować symbol wieloznaczny *.
Web Light	Za każdym razem, gdy użytkownik kliknął Twoją stronę w wyszukiwarce przy odpowiednich warunkach, klient użytkownika Web Light sprawdzał, czy na stronie nie ma nagłówka no-transform. Klient ten był używany tylko do jednoznacznych żądań przeglądania pochodzących od użytkownika i ignorował reguły w pliku robots.txt służące do blokowania zautomatyzowanych żądań indeksowania. Token klienta użytkownika googleweblight Pełny ciąg znaków klienta użytkownika Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19