Mengoptimalkan anggaran crawl

Panduan ini menjelaskan cara mengoptimalkan crawling Google untuk situs yang sangat besar dan sering diperbarui.

Jika situs Anda tidak memiliki banyak halaman yang berubah dengan cepat, atau jika halaman Anda tampak di-crawl pada hari yang sama saat halaman tersebut dipublikasikan, Anda tidak perlu membaca panduan ini. Khusus untuk Google Penelusuran, Anda cukup memastikan peta situs tetap terkini dan memeriksa laporan Pengindeksan Halaman secara rutin.

Sasaran panduan ini

Meskipun rekomendasi dalam panduan ini umumnya merupakan praktik yang baik, panduan ini merupakan panduan lanjutan yang utamanya ditujukan untuk jenis situs berikut:

• Situs besar (lebih dari 1 juta halaman unik) dengan konten yang cukup sering berubah (seminggu sekali)
• Situs sedang atau lebih besar (lebih dari 10.000 halaman unik) dengan konten yang berubah sangat cepat (setiap hari)
• Situs dengan sebagian besar total URL-nya diklasifikasikan oleh Search Console sebagai Ditemukan - saat ini tidak diindeks

Angka yang diberikan di sini adalah perkiraan kasar untuk membantu Anda mengklasifikasikan situs. Angka tersebut bukanlah batas yang pasti.

Teori umum crawling

Web adalah ruang yang hampir tak terbatas, melampaui kemampuan Google untuk menjelajahi setiap URL yang dapat diakses secara publik. Oleh karena itu, terdapat batasan mengenai seberapa banyak waktu dan resource yang dapat dicurahkan Google untuk meng-crawl satu situs. Alokasi resource ini umumnya disebut sebagai anggaran crawl situs. Dalam konteks ini, infrastruktur crawling Google menentukan situs sebagai nama host unik. Misalnya, https://www.example.com/ dan https://code.example.com/ diperlakukan sebagai situs terpisah dan memiliki anggaran crawling terpisah. Anggaran crawling situs ditentukan oleh dua elemen utama: batas kapasitas crawl dan permintaan crawl.

Untuk Google Penelusuran, tidak semua halaman yang di-crawl akan diindeks. Setelah di-crawl, setiap halaman harus dievaluasi, digabungkan, dan dinilai guna menentukan kesesuaiannya untuk indeks.

Batas kapasitas crawl

Google ingin meng-crawl situs Anda tanpa membebani server. Untuk mencegah hal ini, crawler Google menghitung batas kapasitas crawl (juga dikenal sebagai hostload). Hal ini membatasi total waktu yang dihabiskan server Anda untuk menjaga koneksi tetap terbuka bagi Google, dengan mempertimbangkan jumlah koneksi paralel sekaligus durasinya. Hal ini memastikan Google dapat mencakup semua konten penting Anda tanpa membebani server Anda.

Setiap situs dimulai dengan batas kapasitas crawl default yang sama dan konservatif. Jika ada permintaan untuk meng-crawl lebih banyak dan situs tetap sehat, sistem Google akan menyesuaikan batas ini secara otomatis seiring waktu.

Batas kapasitas crawl dapat naik dan turun berdasarkan beberapa faktor:

• Kualitas crawl: Jika situs merespons secara konsisten dan waktu responsnya (termasuk latensi dan Time-to-First Byte) tetap stabil atau membaik, batasnya akan naik, yang berarti lebih banyak koneksi dapat digunakan untuk melakukan crawl. Jika situs melambat (latensi meningkat atau waktu respons menjadi lebih lama), atau memberikan respons berupa error server (kode status 5xx HTTP) atau sinyal pembatasan kapasitas (seperti HTTP 429), batasnya akan turun dan Google akan mengurangi frekuensi crawling.
• Batas crawling Google: Meskipun resource Google sangat besar, resource jumlah tetap terbatas, dan kami harus memprioritaskan alokasi resource di seluruh web.

Permintaan crawl

Setiap crawler memiliki "permintaan" tersendiri dalam hal melakukan crawling di web, yang ditentukan oleh faktor-faktor unik bagi crawler tersebut. Misalnya, AdsBot umumnya memiliki permintaan yang lebih tinggi saat situs menjalankan target iklan dinamis, dan Google Shopping memiliki permintaan yang lebih tinggi untuk produk yang ada di feed penjual Anda.

Untuk Googlebot, permintaan bervariasi berdasarkan ukuran, frekuensi pembaruan, kualitas halaman, dan relevansi situs, dibandingkan dengan situs lain. Berikut adalah faktor utama yang dapat Anda pengaruhi:

• Inventaris yang diketahui: Tanpa panduan dari Anda, Google akan mencoba meng-crawl semua atau sebagian besar URL yang diketahuinya di situs Anda. Jika banyak dari URL ini merupakan duplikat, atau Anda tidak ingin URL tersebut di-crawl karena beberapa alasan lain (dihapus, tidak penting, dan sebagainya), hal ini akan membuang banyak waktu crawling Google di situs Anda. Ini adalah faktor yang paling dapat Anda kontrol secara positif.
• Popularitas: URL yang lebih populer di internet cenderung di-crawl lebih sering untuk mempertahankan posisinya di sistem kami.
• Konten usang: Sistem kami ingin meng-crawl ulang dokumen sesering mungkin untuk menemukan perubahan apa pun.

Selain itu, peristiwa yang berdampak pada situs secara keseluruhan seperti perpindahan situs dapat memicu peningkatan permintaan crawl untuk memproses ulang konten dengan URL baru.

Meskipun setiap crawler memiliki permintaan crawl yang berbeda, batas kapasitas crawl digunakan bersama di semua crawler. Artinya, permintaan yang tinggi dari satu crawler dapat mengurangi kapasitas yang tersedia untuk crawler lain.

Ringkasan

Dengan menggabungkan kapasitas crawl dan permintaan crawl, Google menetapkan anggaran crawling situs sebagai kumpulan URL yang dapat dan ingin di-crawl oleh Google. Meskipun batas kapasitas crawl tidak tercapai, jika permintaan crawl rendah, Google akan mengurangi crawling situs Anda.

Praktik terbaik

Untuk memaksimalkan efisiensi crawling, ikuti praktik terbaik berikut:

• Mengelola inventaris URL: Gunakan alat yang sesuai untuk memberi tahu Google halaman mana yang harus di-crawl dan yang tidak perlu di-crawl. Jika Google menghabiskan terlalu banyak waktu untuk meng-crawl URL yang tidak seharusnya, crawler Google mungkin tidak akan menjelajahi bagian lain dari situs Anda, atau tidak akan menaikkan anggaran crawling Anda.
  • Gabungkan konten duplikat. Hapus konten duplikat untuk memfokuskan crawling pada konten unik, bukan URL unik.
  • Memblokir crawling URL menggunakan robots.txt. Beberapa halaman mungkin penting bagi pengguna, tetapi bukan berarti Anda ingin halaman tersebut muncul di platform Google atau diproses ulang oleh sistem Google. Contohnya mencakup halaman scrolling tanpa batas yang menduplikasi informasi di halaman tertaut, atau versi dengan urutan berbeda dari halaman yang sama. Jika Anda tidak dapat menggabungkannya seperti yang dijelaskan di butir pertama, blokir halaman yang tidak penting ini menggunakan robots.txt. Jika URL diblokir dengan robots.txt, Google tidak akan dapat meng-crawl URL tersebut, dan peluang URL diproses oleh sistem Google lainnya (seperti diindeks oleh Google Penelusuran) akan berkurang secara signifikan.
    Jangan gunakan noindex, karena Google akan tetap mengajukan permintaan, tetapi kemudian menghapus halaman saat melihat header atau tag meta noindex di respons HTTP, sehingga akan membuang waktu crawling. Jangan gunakan robots.txt untuk mengalokasikan ulang anggaran crawling sementara waktu bagi halaman lainnya; gunakan robots.txt untuk memblokir halaman atau resource yang tidak ingin di-crawl oleh Google sama sekali. Google tidak akan mengalihkan anggaran crawling yang baru tersedia ini ke halaman lain, kecuali jika Google sudah mencapai batas kapasitas crawling situs Anda.
  • Menampilkan kode status 404 atau 410 untuk halaman yang telah dihapus secara permanen. Google tidak akan melupakan URL yang diketahuinya, tetapi kode status 404 merupakan sinyal kuat untuk tidak lagi meng-crawl URL tersebut. Namun, URL yang diblokir akan tetap berada dalam antrean crawl jauh lebih lama, dan akan di-crawl ulang saat pemblokiran tersebut dihapus.
  • Memperbaiki error soft 404. Halaman soft 404 akan terus di-crawl dan membuang anggaran Anda. Periksa Laporan Pengindeksan Halaman untuk melihat error soft 404.
  • Selalu memperbarui peta situs Anda. Google membaca peta situs Anda secara rutin, jadi pastikan untuk menyertakan semua konten yang ingin Anda crawl melalui Google. Jika situs Anda memiliki konten yang diperbarui, kami menyarankan Anda untuk menyertakan tag <lastmod>.
  • Menghindari rantai pengalihan panjang yang akan berdampak negatif pada crawling.
• Menjadikan halaman lebih cepat untuk dimuat. Jika Google dapat memuat dan merender halaman Anda dengan lebih cepat, kami mungkin dapat membaca lebih banyak konten dari situs Anda.
  • Tingkatkan kecepatan pemuatan: Optimalkan waktu respons server dan resource Anda agar halaman dimuat lebih cepat.
  • Gunakan penyimpanan cache HTTP: Dukung kode status HTTP 304 (Not Modified). Jika halaman tidak berubah sejak terakhir kali di-crawl oleh Google, mengirimkan kode 304 akan memberi tahu Google untuk menggunakan kembali versi cache, sehingga menghemat bandwidth dan sumber daya server Anda.
• Debug masalah anggaran crawling. Periksa apakah situs Anda mengalami masalah ketersediaan selama crawling, dan cari cara untuk membuat crawling Anda lebih efisien.

Bagaimana cara meningkatkan anggaran crawling?

Ada dua cara untuk meningkatkan anggaran crawling:

• Tambahkan lebih banyak resource server: Jika situs Anda tidak dapat di-crawl karena kapasitas server di pihak Anda (misalnya, Anda menerima peringatan Beban host terlampaui di alat inspeksi URL), tambahkan lebih banyak resource server jika dirasa sesuai untuk bisnis Anda.
• Optimalkan kualitas konten untuk produk Google yang Anda targetkan: Google menentukan resource crawling yang dialokasikan untuk setiap situs dengan mempertimbangkan elemen yang relevan dengan produk Google tertentu. Misalnya, untuk Google Penelusuran, hal ini mencakup elemen seperti popularitas, nilai pengguna secara keseluruhan, keunikan konten, dan kapasitas penayangan.