Comprobar que sea el robot de Google

Tienes la posibilidad de verificar si el rastreador web que accede a tu servidor es realmente el robot de Google (u otro user-agent de Google). Puede resultarte útil hacerlo si sospechas que puede haber spammers u otras personas malintencionadas que acceden a tu sitio haciéndose pasar por el robot de Google. Google no publica direcciones IP que los propietarios de sitios web puedan incluir en listas de direcciones permitidas. No lo hace porque los intervalos de direcciones IP pueden cambiar, lo que causaría problemas a los propietarios de sitios web que hayan incluido esas direcciones IP manualmente. Por este motivo, tienes que hacer una petición de DNS siguiendo los pasos que se indican a continuación.

Verificar que el robot de Google es el rastreador

Usar herramientas de línea de comandos

  1. Busca en tus registros la dirección IP que está accediendo a tu servidor y realiza una petición de DNS invertida con ella mediante el comando host.
  2. Verifica que el nombre de dominio es googlebot.com o google.com.
  3. Ejecuta una petición de DNS normal con el nombre de dominio que hayas obtenido en el paso 1; para hacerlo, usa el comando host en el nombre de dominio. Verifica que es la misma dirección IP de acceso original que figura en tus registros.

Ejemplo 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Ejemplo 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Usar soluciones automáticas

Google no proporciona ninguna biblioteca de software que pueda identificar a sus rastreadores. Para verificar el robot de Google, puedes utilizar una biblioteca de código abierto.