Zmniejszanie szybkości indeksowania przez Google

Infrastruktura robota Google korzysta z zaawansowanych algorytmów, aby określić optymalną szybkość indeksowania witryny. Naszym celem jest zindeksowanie możliwie największej liczby stron w witrynie podczas każdej wizyty bez nadmiernego obciążania serwera. W niektórych przypadkach indeksowanie Twojej witryny przez Google może powodować krytyczne obciążenie Twojej infrastruktury lub niepożądane koszty w czasie awarii. Aby temu zapobiec, możesz zmniejszyć liczbę żądań nadsyłanych przez roboty Google.

Sprawdzenie przyczyn gwałtownego wzrostu szybkości indeksowania

Nagły wzrost szybkości indeksowania może być spowodowany nieefektywnością w strukturze witryny lub innymi problemami z witryną. Na podstawie otrzymanych w przeszłości zgłoszeń najczęstsze przyczyny to:

  • Nieefektywna konfiguracja adresów URL w witrynie, która jest zwykle spowodowana przez określoną funkcję witryny:
    • nawigacja fasetowa lub inne funkcje sortowania i filtrowania w witrynie,
    • kalendarz z wieloma adresami URL dla konkretnych dat,
  • cel dynamicznych reklam w wyszukiwarce.

Zalecamy skontaktowanie się z firmą hostingową i sprawdzenie ostatnich logów dostępu na serwerze, aby ustalić źródło ruchu i sprawdzić, czy mieści się on w ramach wymienionych wcześniej typowych przyczyn gwałtownego wzrostu szybkości indeksowania. Następnie zapoznaj się z naszych przewodnikami na temat zarządzania indeksowaniem adresów URL nawigacji fasetowejoptymalizowania wydajności indeksowania.

Pilne ograniczenie ruchu robota (w sytuacjach awaryjnych)

Jeśli musisz pilnie zmniejszyć szybkość indeksowania na krótki czas (np. na kilka godzin lub 1–2 dni), użyj kodu stanu odpowiedzi HTTP 500, 503 lub 429 zamiast 200 w odpowiedzi na żądania indeksowania. Gdy infrastruktura indeksowania Google napotka znaczną liczbę adresów URL z kodami stanu odpowiedzi HTTP 500, 503 lub 429 (np. gdy wyłączysz swoją witrynę), zmniejszy szybkość indeksowania witryny. Zmniejszona szybkość indeksowania ma wpływ na całą nazwę hosta witryny (np. subdomain.example.com), zarówno na indeksowanie adresów URL, które zwracają błędy, jak i na adresy URL, które zwracają treść. Gdy liczba tych błędów spadnie, szybkość indeksowania automatycznie zacznie ponownie rosnąć.

Wyjątkowe prośby o zmniejszenie szybkości indeksowania

Jeśli Twoja infrastruktura nie umożliwia wyświetlania błędów indeksowania robotom Google, prześlij specjalne żądanie, aby zgłosić problem z nadmierną szybkością indeksowania i podać optymalną szybkość indeksowania Twojej witryny. Nie można poprosić o zwiększenie szybkości indeksowania, a rozpatrzenie i spełnienie prośby może potrwać kilka dni.