Pelajari interaksi agen pengguna Google dengan situs Anda untuk membuat halaman terpenting Anda muncul di lebih banyak tempat dalam ekosistem Google tanpa harus membebani server. Baik Anda seorang developer atau pemilik situs, dokumentasi ini memberi Anda kontrol crawling situs yang lebih baik.
Pelajari lebih lanjut
Anda dapat memverifikasi apakah pengambil atau web crawler yang mengakses server Anda benar-benar berasal dari Google, seperti Googlebot.
Mulai
Crawler Google akan otomatis beradaptasi dengan situs dan server Anda agar dapat secara efisien menemukan serta menampilkan konten terbaik dan terbaru Anda. Agar dapat secara mudah mengelola situasi mendesak terkait server dan crawling, Anda memiliki opsi untuk mengurangi frekuensi crawling secara proaktif, jika diperlukan.
Mulai
Anda dapat menggunakan file robots.txt untuk mengizinkan atau melarang crawling halaman tertentu atau seluruh situs Anda.
Mulai

Pengaruh preferensi crawling terhadap lokasi munculnya situs Anda di Google

Infrastruktur crawling Google digunakan bersama di berbagai produk Google. Artinya, dengan mengikuti praktik terbaik, konten web Anda dapat ditemukan secara lebih efisien dan ditampilkan di Google.
Google Penelusuran menggunakan Googlebot untuk meng-crawl situs Anda guna menemukan konten yang relevan bagi pengguna.
Google-Extended digunakan oleh aplikasi Gemini dan Vertex AI API untuk Gemini. Pelajari lebih lanjut Google-Extended.
Preferensi crawling yang ditujukan ke agen pengguna Storebot-Google memengaruhi semua platform Google Shopping.
Crawler AdSense mengunjungi situs yang berpartisipasi untuk menyediakan iklan yang relevan.
Preferensi crawling yang ditujukan ke agen pengguna Googlebot-News memengaruhi produk Google Berita, termasuk news.google.com dan aplikasi Google Berita.
Pengambil Google-NotebookLM meminta setiap URL yang telah diberikan oleh pengguna NotebookLM sebagai sumber untuk project mereka.