Memverifikasi Googlebot

Anda dapat memverifikasi apakah web crawler yang mengakses server Anda benar-benar Googlebot (atau agen pengguna Google lainnya). Tindakan ini akan berguna jika Anda khawatir spammer atau pembuat masalah lainnya sedang mengakses situs Anda dengan mengaku sebagai Googlebot. Google tidak memposting daftar alamat IP publik untuk pemilik situs ke daftar yang diizinkan. Hal ini karena rentang alamat IP dapat berubah, yang menyebabkan masalah bagi semua pemilik situs yang telah melakukan hard code, sehingga Anda harus menjalankan pencarian DNS seperti yang dijelaskan berikutnya.

Memverifikasi bahwa crawler-nya adalah Googlebot

Menggunakan alat command line

  1. Jalankan pencarian DNS terbalik di alamat IP pengaksesan dari log Anda, menggunakan perintah host.
  2. Verifikasi bahwa nama domain adalah googlebot.com atau google.com.
  3. Jalankan pencarian DNS maju pada nama domain yang diambil pada langkah pertama menggunakan perintah host pada nama domain yang diambil. Verifikasi bahwa alamat tersebut sama dengan alamat IP pengaksesan asli dari log Anda.

Contoh 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Contoh 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Menggunakan solusi otomatis

Google tidak memberikan library software yang dapat mengidentifikasi crawler milik Google. Anda dapat menggunakan library open source untuk memverifikasi Googlebot.