Optymalizacja budżetu indeksowania

Z tego przewodnika dowiesz się, jak zoptymalizować indeksowanie przez Google bardzo dużych i często aktualizowanych witryn.

Jeśli w Twojej witrynie nie ma wielu stron, które zmieniają się szybko, albo uważasz, że Twoje strony są indeksowane w dniu publikacji, nie musisz czytać tego przewodnika. W przypadku wyszukiwarki Google wystarczy regularnie aktualizować mapę witryny i sprawdzać raport Indeksowanie stron.

Komu przyda się ten przewodnik

Zalecenia zawarte w tym przewodniku to ogólnie sprawdzone metody, ale jest to przewodnik zaawansowany stworzony głównie z myślą o tych typach witryn:

  • dużych witrynach (ponad milion unikalnych stron) z treścią, która zmienia się z umiarkowaną częstotliwością (raz w tygodniu);
  • średnich lub większych witrynach (ponad 10 tys. unikalnych stron), których treść zmienia się bardzo szybko (codziennie).
  • witrynach z dużą częścią ogólnej liczby adresów URL sklasyfikowaną przez Search Console jako Strona wykryta – obecnie niezindeksowana;

Ogólnie o indeksowaniu

Internet to niemal nieograniczona przestrzeń, dlatego zbadanie wszystkich publicznie dostępnych adresów URL przekracza możliwości Google. W związku z tym ilość czasu i zasobów, jakie Google może poświęcić na indeksowanie poszczególnych witryn, jest ograniczona. Przydział tych zasobów jest zwykle nazywany budżetem indeksowania witryny. W tym kontekście infrastruktura indeksowania Google definiuje witrynę jako unikalną nazwę hosta. Na przykład https://www.example.com/ i https://code.example.com/ są traktowane jako osobne witryny i mają osobne budżety indeksowania. Budżet indeksowania witryny zależy od 2 głównych czynników: limitu wydajności indeksowania i zapotrzebowania na indeksowanie.

Limit wydajności indeksowania

Googlebot stara się indeksować witryny bez obciążania serwerów. W tym celu roboty Google obliczają limit wydajności indeksowania (znany też jako obciążenie hosta), czyli maksymalną liczbę jednoczesnych połączeń równoległych, których Google może użyć do zindeksowania witryny, a także opóźnienie między pobraniami. Dzięki tym obliczeniom indeksowanie obejmie wszystkie ważne treści bez nadmiernego obciążenia serwerów.

Każda witryna zaczyna od tego samego domyślnego, konserwatywnego limitu wydajności indeksowania. Jeśli pojawi się potrzeba częstszego indeksowania, a witryna będzie działać prawidłowo, systemy Google z czasem automatycznie dostosują ten limit.

Zwiększenie lub zmniejszenie limitu wydajności indeksowania zależy od kilku czynników:

  • Stan indeksowania: jeśli witryna reaguje konsekwentnie, a jej czasy odpowiedzi (w tym czas oczekiwania i czas do pierwszego bajtu) pozostają stabilne lub się poprawiają, limit się zwiększa, czyli do indeksowania można wykorzystać więcej połączeń. Jeśli czas reakcji witryny się wydłuży (wzrośnie czas oczekiwania lub czas odpowiedzi) albo wystąpią błędy serwera (kody stanu 5xx HTTP) lub sygnały ograniczania szybkości (np. HTTP 429), limit zostanie zmniejszony, a Google będzie indeksować mniej.
  • Limity indeksowania Google: zasoby Google są rozległe, ale nie są nieograniczone, dlatego musimy ustalać priorytety ich przydzielania w internecie.

Zapotrzebowanie na indeksowanie

Każdy robot ma własne „zapotrzebowanie” na indeksowanie sieci, które zależy od czynników unikalnych dla danego robota. Na przykład AdsBot ma zwykle większe zapotrzebowanie, gdy witryna korzysta z celów reklam dynamicznych, a Zakupy Google mają większe zapotrzebowanie na produkty, które masz w plikach danych sprzedawcy.

W przypadku Googlebot zapotrzebowanie zależy od rozmiaru witryny, częstotliwości aktualizacji, jakości stron i trafności w porównaniu z innymi witrynami. Główne czynniki, na które masz wpływ:

  • Domniemane zasoby: bez Twoich wskazówek Google będzie próbować indeksować wszystkie adresy URL, które znajdzie w Twojej witrynie, lub ich większość. Jeśli wiele z tych adresów URL to duplikaty lub adresy, które nie powinny być indeksowane z innego powodu (zostały usunięte, są nieistotne itd.), niepotrzebnie pochłania to czas, jaki Google przeznacza na skanowanie treści w Twojej witrynie. Jest to czynnik, nad którym masz największą kontrolę.
  • Popularność: adresy URL, które cieszą się większą popularnością w internecie, są indeksowane częściej, aby ich stan w naszym indeksie był aktualny.
  • Brak aktualizacji: nasze systemy starają się ponownie indeksować dokumenty wystarczająco często, aby wykryć wszelkie zmiany.

Poza tym zdarzenia dotyczące całej witryny (np. jej przeniesienie) mogą spowodować wzrost zapotrzebowania na indeksowanie w celu ponownego zindeksowania treści pod nowymi adresami URL.

Podsumowanie

Biorąc pod uwagę wydajność indeksowania i zapotrzebowanie na indeksowanie, Google określa budżet indeksowania witryny jako zestaw adresów URL, które Googlebot może i zamierza zindeksować. Nawet jeśli limit wydajności indeksowania nie zostanie osiągnięty, Googlebot będzie rzadziej indeksować Twoją witrynę, jeśli zapotrzebowanie na indeksowanie jest niskie.

Sprawdzone metody

Aby zmaksymalizować efektywność skanowania, postępuj zgodnie z tymi sprawdzonymi metodami:

  • Zarządzaj zasobami URL. Użyj odpowiednich narzędzi, aby poinformować Google, które strony ma indeksować, a które pomijać. Jeśli Google poświęca zbyt dużo czasu na indeksowanie adresów URL, których nie powinien, roboty Google mogą nie przeskanować reszty witryny lub nie zwiększyć budżetu indeksowania.
    • Konsolidacja powielonych treści. Usuń powielone treści, by skupić się na indeksowaniu niepowtarzalnych treści, a nie unikalnych adresów URL.
    • Blokuj indeksowanie adresów URL za pomocą pliku robots.txt. Niektóre strony mogą być ważne dla użytkowników, ale niekoniecznie powinny pojawiać się na platformach Google lub być ponownie przetwarzane przez systemy Google. Na przykład strony z przewijaniem nieskończonym, które powielają informacje na linkowanych stronach, lub różnie uporządkowane wersje tej samej strony. Jeśli nie możesz skonsolidować tych stron w sposób opisany w pierwszym punkcie, zablokuj te nieistotne (pod względem wyszukiwania) za pomocą pliku robots.txt. Blokowanie adresów URL za pomocą pliku robots.txt uniemożliwia Google ich skanowanie i znacznie zmniejsza szansę na ich przetworzenie przez inne systemy Google (np. zindeksowanie przez wyszukiwarkę Google).
    • Zwracaj kod stanu 404 lub 410 w przypadku stron trwale usuniętych. Google nie zapomina poznanego adresu URL, ale kod stanu 404 to wyraźny sygnał, aby nie indeksować tego adresu URL ponownie. Zablokowane adresy URL pozostaną jednak w kolejce indeksowania znacznie dłużej i zostaną zeskanowane ponownie po usunięciu blokady.
    • Wyeliminuj błędy soft 404. Strony z kodem błędu soft 404 nadal będziemy indeksować, co spowoduje niepotrzebne wykorzystanie budżetu. Poszukaj błędów soft 404 w Raporcie Indeksowanie stron.
    • Aktualizuj mapy witryn. Google regularnie odczytuje mapę witryny, więc pamiętaj, aby uwzględnić w niej wszystkie treści, które Google ma indeksować. Jeśli Twoja witryna zawiera zaktualizowane treści, zalecamy dodanie tagu <lastmod>.
    • Unikaj długich łańcuchów przekierowań, które mają negatywny wpływ na indeksowanie.
  • Zadbaj o sprawne wczytywanie stron. Jeśli wczytywanie i renderowanie stron odbywa się szybciej, Google może odczytać z witryny więcej treści.
    • Zwiększ szybkość wczytywania: zoptymalizuj czas odpowiedzi serwera i zasoby, aby strony wczytywały się szybciej.
    • Używaj buforowania HTTP: obsługuj kody stanu HTTP 304 (Not Modified). Jeśli strona nie zmieniła się od czasu ostatniego zindeksowania przez Google, zwrócenie kodu 304 informuje Google, że ma użyć wersji z pamięci podręcznej, co pozwala zaoszczędzić przepustowość i zasoby serwera.
  • Debugowanie problemów z budżetem indeksowania Sprawdzaj, czy podczas indeksowania nie występują problemy z dostępnością witryny, i poszukaj sposobów na zwiększenie skuteczności indeksowania.

Jak zwiększyć budżet indeksowania?

Budżet indeksowania można zwiększyć na 2 sposoby:

  • Dodaj więcej zasobów serwera: jeśli witryna nie może zostać zindeksowana z powodu ograniczeń pojemności serwera po Twojej stronie (np. w narzędziu do sprawdzania adresów URL pojawia się komunikat Przekroczono limit obciążenia hosta), dodaj więcej zasobów serwera, jeśli jest to uzasadnione z biznesowego punktu widzenia.
  • Zoptymalizuj jakość treści pod kątem usługi Google, na którą kierujesz reklamy: Google określa zasoby indeksowania przydzielone do każdej witryny, biorąc pod uwagę elementy, które są istotne dla konkretnej usługi Google. Na przykład w przypadku wyszukiwarki Google obejmuje to takie czynniki jak popularność, ogólna wartość dla użytkowników, niepowtarzalność treści i wydajność serwera.