Verificación de Googlebot y otros rastreadores de Google

Puedes verificar si un rastreador web que accede a tu servidor es realmente un rastreador de Google, como Googlebot. Esta opción es útil si te preocupa que generadores de spam o de contenido problemático accedan a tu sitio haciéndose pasar por Googlebot.

Existen dos métodos para verificar los rastreadores de Google:

  • Manualmente: Para búsquedas únicas, usa herramientas de línea de comandos. Este método es suficiente para la mayoría de los casos de uso.
  • Automáticamente: Para las búsquedas a gran escala, usa una solución automática para que haga coincidir la dirección IP de un rastreador con la lista de direcciones IP de Googlebot publicadas.

Usa las herramientas de línea de comandos

  1. Ejecuta una búsqueda de DNS inversa en la dirección IP de acceso desde tus registros con el comando host.
  2. Verifica que el nombre de dominio sea googlebot.com o google.com.
  3. Ejecuta una búsqueda de DNS directa en el nombre de dominio recuperado en el Paso 1 con el comando host en el nombre de dominio recuperado.
  4. Verifica que sea la misma que la dirección IP original de acceso desde tus registros.

Ejemplo 1:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Ejemplo 2:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Usa soluciones automáticas

Otra forma de identificar a Googlebot por dirección IP es hacer coincidir la dirección IP del rastreador con la lista de direcciones IP de Googlebot. Para todos los demás rastreadores de Google, haz que coincida la dirección IP del rastreador con la lista completa de direcciones IP de Google.