Validation de Googlebot

Vous pouvez vérifier que le robot d'exploration qui accède à votre serveur est réellement Googlebot (ou un autre user-agent Google). Cela est utile si vous suspectez que des spammeurs ou d'autres personnes mal intentionnées accèdent à votre site en se faisant passer pour Googlebot. Google ne fournit pas une liste d'adresses IP à ajouter à la liste blanche aux propriétaires de sites Web, car ces plages d'adresses IP peuvent changer. Cela poserait donc problème pour les propriétaires de sites Web qui les codées en dur. Ainsi, vous devez exécuter une résolution DNS comme décrit ci-dessous.

Pour vérifier que Googlebot est l'appelant :

  1. À l'aide de la commande host, exécutez une résolution DNS inverse sur l'adresse IP utilisée dans vos journaux.
  2. Vérifiez que le nom de domaine est googlebot.com ou google.com.
  3. Effectuez une résolution DNS directe sur le nom de domaine récupéré à l'étape 1 à l'aide de la commande host. Vérifiez qu'il s'agit de la même adresse IP que celle utilisée dans vos journaux.

Exemple 1 :

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Exemple 2 :

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77