Memverifikasi Googlebot dan crawler Google lainnya

Anda dapat memverifikasi apakah web crawler yang mengakses server Anda benar-benar crawler Google, seperti Googlebot. Tindakan ini berguna jika Anda khawatir terhadap spammer atau pembuat masalah lainnya yang mengakses situs Anda dengan mengklaim sebagai Googlebot. Agar pemilik situs tidak dapat menambahkannya ke daftar yang diizinkan, Google tidak memposting daftar publik alamat IP. Hal ini karena rentang alamat IP dapat berubah, yang menyebabkan masalah bagi semua pemilik situs yang telah melakukan hard code, sehingga Anda harus menjalankan pencarian DNS seperti yang dijelaskan selanjutnya.

Memverifikasi bahwa crawler-nya adalah Googlebot (atau crawler Google lainnya)

Menggunakan alat command line

  1. Jalankan pencarian DNS terbalik di alamat IP pengaksesan dari log Anda, menggunakan perintah host.
  2. Verifikasi bahwa nama domain adalah googlebot.com atau google.com.
  3. Jalankan pencarian DNS maju pada nama domain yang diambil pada langkah pertama menggunakan perintah host pada nama domain yang diambil. Verifikasi bahwa alamat tersebut sama dengan alamat IP pengaksesan asli dari log Anda.

Contoh 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Contoh 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Menggunakan solusi otomatis

Google tidak memberikan library software yang dapat mengidentifikasi crawler milik Google. Anda dapat menggunakan library open source untuk memverifikasi Googlebot.