Wtorek, 31 marca 2026 roku
Jeśli słuchaliście 105 odcinka podcastu Search Off the Record, być może słyszeliście, jak szczegółowo omawiamy temat, który jest bliski naszym sercom (i serwerom): wewnętrzne działanie Googlebota.
Przez długi czas nazwa „Googlebot” przywoływała obraz pojedynczego, niestrudzonego robota, który systematycznie odczytuje internet. Rzeczywistość jest jednak nieco bardziej złożona i znacznie ciekawsza. Dzisiaj chcemy zajrzeć pod maskę naszej infrastruktury indeksowania, ze szczególnym uwzględnieniem tego, co przyprawia nas o zawrót głowy: limitów rozmiaru w bajtach.
Po pierwsze, Googlebot nie jest pojedynczym programem
Najpierw wyjaśnijmy pewne historyczne nieporozumienie. Na początku XXI wieku Google miało tylko jedną usługę, więc mieliśmy jednego robota. Nazwa „Googlebot” się przyjęła. Obecnie Googlebot jest tylko użytkownikiem czegoś, co przypomina scentralizowaną platformę indeksowania.
Gdy widzisz Googlebota w logach serwera, oznacza to, że patrzysz na wyszukiwarkę Google. Dziesiątki innych klientów, takich jak Zakupy Google, AdSense i inne, kierują swoje żądania indeksowania przez tę samą infrastrukturę pod różnymi nazwami robotów indeksujących. Większe z nich są udokumentowane na stronie infrastruktury robotów indeksujących Google.
Limit 2 MB: co się dzieje z bajtami?
W tym miejscu sytuacja trochę się komplikuje. Każdy klient infrastruktury robota musi skonfigurować pewne ustawienia pobierania. Ustawienia te obejmują ciąg znaków klienta użytkownika, tokeny klienta użytkownika, których będą szukać w pliku robots.txt, oraz liczbę bajtów, które pobiorą z jednego adresu URL.
Googlebot pobiera obecnie do 2 MB danych z każdego adresu URL (z wyjątkiem plików PDF). Oznacza to, że indeksuje tylko pierwsze 2 MB zasobu, w tym nagłówek HTTP. W przypadku plików PDF limit wynosi 64 MB.
Roboty indeksujące obrazy i filmy mają zwykle szeroki zakres wartości progowych, który zależy w dużej mierze od usługi, dla której pobierają dane. Na przykład pobieranie favikony może mieć bardzo niski limit, w przeciwieństwie do wyszukiwarki grafiki.
W przypadku innych robotów, które nie mają określonego limitu, domyślny limit wynosi 15 MB niezależnie od typu treści.
Co to oznacza dla bajtów, które serwer wysyła przez sieć?
-
Pobieranie częściowe: jeśli plik HTML jest większy niż 2 MB, Googlebot nie odrzuca strony. Zamiast tego pobieranie zostanie zatrzymane dokładnie po osiągnięciu limitu 2 MB. Pamiętaj, że limit obejmuje nagłówki odpowiedzi na
żądanieHTTP. - Przetwarzanie limitu: pobrana część (pierwsze 2 MB bajtów) jest przekazywana do naszych systemów indeksowania i usługi renderowania internetowego (WRS) tak, jakby był to cały plik.
- Niewidoczne bajty: wszystkie bajty, które znajdują się po progu 2 MB, są całkowicie ignorowane. Nie są pobierane, renderowane ani indeksowane.
- Pobieranie zasobów: każdy zasób, do którego odwołuje się kod HTML (z wyjątkiem multimediów, czcionek i niektórych nietypowych plików), zostanie pobrany przez usługę WRS za pomocą Googlebota, podobnie jak nadrzędny kod HTML. Mają własny, oddzielny licznik bajtów na adres URL i nie są wliczane do rozmiaru strony nadrzędnej.
W przypadku większości stron internetowych ładunek HTML o rozmiarze 2 MB jest ogromny i nigdy nie osiągniesz tego limitu. Jeśli jednak Twoja strona zawiera zbyt duże obrazy base64, ogromne bloki wbudowanego kodu CSS/JavaScript lub zaczyna się od megabajtów menu, możesz przypadkowo przekroczyć limit 2 MB dla rzeczywistej treści tekstowej lub kluczowych uporządkowanych danych. Jeśli te kluczowe bajty nie zostaną pobrane, dla Googlebota po prostu nie będą istnieć.
Renderowanie bajtów
Gdy robot pobierze bajty (do limitu), przekazuje je do WRS. WRS przetwarza kod JavaScript i wykonuje kod po stronie klienta podobnie jak nowoczesna przeglądarka, aby poznać ostateczny stan wizualny i tekstowy strony. Renderowanie polega na pobieraniu i wykonywaniu plików JavaScript i CSS oraz przetwarzaniu żądań XHR w celu lepszego zrozumienia treści tekstowych i struktury strony (nie żąda obrazów ani filmów). W przypadku każdego żądanego zasobu obowiązuje też limit 2 MB.
Pamiętaj jednak, że WRS może wykonać tylko kod, który został faktycznie pobrany przez robota. Ponadto WRS działa bezstanowo – między żądaniami czyści pamięć lokalną i dane sesji. Może to mieć szczególne znaczenie dla sposobu, w jaki nasze systemy interpretują elementy dynamiczne zależne od JavaScriptu.
Sprawdzone metody dotyczące bajtów
Aby mieć pewność, że Googlebot może skutecznie pobierać i rozumieć Twoje treści, pamiętaj o tych sprawdzonych metodach na poziomie bajtów:
- Utrzymuj kod HTML w prostej formie: przenieś duże pliki CSS i JavaScript do plików zewnętrznych. Początkowy dokument HTML jest ograniczony do 2 MB, ale zewnętrzne skrypty i arkusze stylów są pobierane osobno (z uwzględnieniem ich własnych limitów).
-
Kolejność ma znaczenie: umieść najważniejsze elementy, takie jak metatagi, elementy
<title>, elementy<link>, linki kanoniczne i podstawowe uporządkowane dane, wyżej w dokumencie HTML. Dzięki temu jest mało prawdopodobne, że znajdą się poniżej progu. - Monitoruj logi serwera: obserwuj czas odpowiedzi serwera. Jeśli serwer ma problemy z przesyłaniem danych, nasze roboty automatycznie się wycofają, aby uniknąć przeciążenia infrastruktury, co spowoduje spadek częstotliwości indeksowania.
Pamiętaj, że ten limit nie jest stały i może się zmieniać w miarę rozwoju internetu i zwiększania się rozmiaru stron HTML. (Lub zmniejszania. Oby zmniejszania).
Indeksowanie nie jest magicznym procesem, ale wysoce skoordynowaną, skalowaną wymianą bajtów. Jeśli zrozumiesz, jak nasza centralna infrastruktura pobierania pobiera i ogranicza te bajty, możesz mieć pewność, że najważniejsze treści w Twojej witrynie zawsze zostaną uwzględnione.
Życzymy udanej optymalizacji!
Chcesz dowiedzieć się więcej o tym, co działo się za kulisami? Posłuchaj 105 odcinka podcastu Search Off the Record w YouTube lub na dowolnej platformie podcastowej.