Organiza tus páginas con colecciones Guarda y categoriza el contenido según tus preferencias.

Verificación de Googlebot y otros rastreadores de Google

Puedes verificar si un rastreador web que accede a tu servidor es realmente un rastreador de Google, como Googlebot. Esta opción es útil si te preocupa que generadores de spam o de contenido problemático accedan a tu sitio haciéndose pasar por Googlebot.

Existen dos métodos para verificar los rastreadores de Google:

  • Manualmente: Para búsquedas únicas, usa herramientas de línea de comandos. Este método es suficiente para la mayoría de los casos de uso.
  • Automáticamente: Para las búsquedas a gran escala, usa una solución automática para que haga coincidir la dirección IP de un rastreador con la lista de direcciones IP de Googlebot publicadas.

Usa herramientas de línea de comandos

  1. Ejecuta una búsqueda de DNS inversa en la dirección IP de acceso desde tus registros con el comando host.
  2. Verifica que el nombre de dominio sea googlebot.com o google.com.
  3. Ejecuta una búsqueda de DNS directa en el nombre de dominio recuperado en el Paso 1 con el comando host en el nombre de dominio recuperado.
  4. Verifica que sea la misma que la dirección IP original de acceso desde tus registros.

Ejemplo 1:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Ejemplo 2:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.

host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

Ejemplo 3:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Usa soluciones automáticas

Otra forma de identificar a Googlebot por dirección IP es hacer coincidir la dirección IP del rastreador con la lista de direcciones IP de Googlebot. En el caso de otras direcciones IP de Google desde las que se puede acceder a tu sitio (por ejemplo, mediante una solicitud de usuario o Apps Scripts), haz coincidir la dirección IP de acceso con el lista de direcciones IP de Google. Ten en cuenta que las direcciones IP en los archivos JSON se representan en formato CIDR.