Mengurangi frekuensi crawling Google

Infrastruktur crawler Google memiliki algoritma canggih untuk menentukan frekuensi crawling yang optimal bagi suatu situs. Tujuan kami adalah meng-crawl sebanyak mungkin halaman dari situs Anda di setiap kunjungan tanpa membuat server Anda mengalami kelebihan beban. Dalam beberapa kasus, crawling Google di situs Anda dapat menimbulkan pemuatan yang berat pada infrastruktur Anda, atau menimbulkan biaya yang tidak diinginkan selama pemadaman layanan. Untuk mengatasi masalah ini, Anda dapat memutuskan untuk mengurangi jumlah permintaan yang dibuat oleh crawler Google.

Memahami penyebab peningkatan crawling yang tajam

Peningkatan crawling yang tajam mungkin disebabkan oleh struktur situs yang tidak efisien atau masalah lain pada situs Anda. Berdasarkan laporan yang kami terima sebelumnya, penyebab paling umum adalah:

• Konfigurasi URL yang tidak efisien di situs, yang biasanya disebabkan oleh fungsi situs spesifik:
  • Navigasi berfaset atau fungsi pengurutan dan pemfilteran lainnya
  • Kalender dengan banyak URL untuk tanggal tertentu
• Target Iklan Penelusuran Dinamis

Sebaiknya hubungi perusahaan hosting Anda dan periksa log akses terbaru server Anda untuk memahami sumber traffic. Periksa juga apakah sumber traffic tersebut sesuai dengan penyebab umum peningkatan crawling yang tajam yang disebutkan di atas. Kemudian, lihat panduan kami tentang mengelola crawling URL navigasi berfaset dan mengoptimalkan efisiensi crawling.

Mengurangi traffic crawler dengan segera (untuk keadaan darurat)

Peringatan: Saat mempertimbangkan pengurangan frekuensi crawling Google, perlu diingat bahwa tindakan ini akan menimbulkan dampak yang luas. Untuk Penelusuran, Googlebot akan menemukan lebih sedikit halaman baru, halaman yang sudah ada akan lebih jarang diperbarui (misalnya, harga dan ketersediaan produk mungkin akan memerlukan waktu lebih lama agar dapat terlihat dalam Penelusuran), dan halaman yang dihapus akan lebih lama berada di dalam indeks. Untuk Google Ads, kampanye Anda dapat dibatalkan atau dijeda, dan iklan Anda mungkin tidak akan ditayangkan.

Untuk segera mengurangi frekuensi crawling dalam jangka waktu yang singkat (misalnya, beberapa jam atau 1—2 hari), tampilkan kode status respons HTTP 500, 503, atau 429, bukan 200, pada permintaan crawl.

Jika infrastruktur crawling Google menemukan jumlah URL yang signifikan dengan kode status respons HTTP 500, 503, atau 429 (misalnya, jika Anda menonaktifkan situs Anda):

• Googlebot akan mengurangi frekuensi crawling situs Anda di seluruh nama host (misalnya, subdomain.example.com), termasuk URL yang menampilkan error dan URL yang menampilkan konten.
• Googlebot akan otomatis meningkatkan frekuensi crawling lagi setelah jumlah error ini dikurangi.

Saat menampilkan kode status 503 atau 429, Anda juga dapat menyertakan header HTTP Retry-After (seperti yang ditentukan dalam Semantik HTTP RFC 9110) untuk menunjukkan kapan crawler Google dapat mengirim ulang permintaan menggunakan penundaan dalam detik atau tanggal dan waktu UTC absolut:

• Penundaan dalam detik:

  HTTP/1.1 503 Service Unavailable
  Retry-After: 120

• Tanggal dan waktu UTC absolut:

  HTTP/1.1 503 Service Unavailable
  Retry-After: Wed, 21 Oct 2026 07:28:00 GMT

Peringatan: Kami tidak menyarankan Anda melakukan tindakan ini untuk jangka waktu yang lama (artinya, lebih dari 1—2 hari) karena dapat berdampak negatif pada tampilan situs Anda di produk Google. Misalnya, untuk Penelusuran, jika Googlebot mengamati kode status ini di URL yang sama selama beberapa hari, URL tersebut dapat dihapus dari indeks Google.

Permintaan khusus untuk mengurangi frekuensi crawling

Jika infrastruktur Anda tidak dapat menayangkan error ke crawler Google, ajukan permintaan khusus untuk melaporkan masalah terkait tingginya frekuensi crawling yang tidak wajar, dengan menyebutkan frekuensi yang optimal bagi situs dalam permintaan Anda. Anda tidak dapat meminta peningkatan frekuensi crawling, dan mungkin memerlukan waktu beberapa hari agar permintaan tersebut dapat dievaluasi dan dipenuhi.