Reducir la frecuencia de rastreo de Google

La infraestructura de rastreo de Google cuenta con algoritmos sofisticados para determinar la frecuencia de rastreo óptima de un sitio. En cada visita, se intentan rastrear tantas páginas de tu sitio como sea posible sin sobrecargar el servidor. En algunos casos, el rastreo que hace Google de tu sitio web puede llegar a imponer una carga excesiva en tu infraestructura o generar costes no deseados por una interrupción del servicio. Para solucionar este problema, puedes reducir el número de solicitudes de los rastreadores de Google.

Identificar la causa de un aumento brusco del rastreo

Se puede producir un aumento considerable del rastreo si hay deficiencias en la estructura de tu sitio o problemas con tu sitio. Según los informes que hemos recibido en el pasado, las causas más habituales son las siguientes:

• Una configuración ineficiente de las URLs del sitio, que suele deberse a una funcionalidad específica del sitio:
  • La navegación por facetas u otras funciones de ordenación y filtrado
  • Un calendario con muchas URLs para fechas específicas
• Un objetivo de anuncios dinámicos de búsqueda

Te recomendamos que te pongas en contacto con tu empresa de alojamiento y consultes los registros de acceso recientes de tu servidor para saber cuál es la fuente del tráfico y comprobar si se ajusta a las causas habituales de este aumento tan brusco en el rastreo. Después, consulta nuestras guías sobre cómo gestionar el rastreo de URLs de navegación por facetas y optimizar la eficiencia del rastreo.

Reducir urgentemente el tráfico del rastreador (en caso de emergencia)

Advertencia: Si estás pensando en reducir la frecuencia de rastreo de Google, ten en cuenta que tendrá repercusión sobre otros aspectos. En la Búsqueda, el robot de Google descubrirá un número menor de páginas nuevas, las páginas existentes se actualizarán con menos frecuencia, lo que hará, por ejemplo, que los precios y la disponibilidad del producto puedan tardar más tiempo en aparecer en la Búsqueda, y las páginas eliminadas seguirán mostrándose en el índice durante más tiempo. En Google Ads, tus campañas se pueden cancelar o pausar, y es posible que tus anuncios no se sirvan.

Para reducir urgentemente la frecuencia de rastreo durante un periodo breve (por ejemplo, un par de horas o 1 o 2 días), devuelve un código de respuesta HTTP 500, 503 o 429 en lugar de 200 a las solicitudes de rastreo.

Cuando la infraestructura de rastreo de Google detecta un número significativo de URLs con códigos de estado de respuesta HTTP 500, 503 o 429 (por ejemplo, si has inhabilitado tu sitio web):

• Reduce la frecuencia de rastreo de tu sitio en todo el nombre de host (por ejemplo, subdomain.example.com), incluidas las URLs que devuelven errores y las que devuelven contenido.
• Aumenta automáticamente la frecuencia de rastreo una vez que se haya reducido el número de estos errores.

Al devolver un código de estado 503 o 429, también puedes incluir un encabezado HTTP Retry-After (tal como se define en RFC 9110 HTTP Semantics) para indicar cuándo pueden volver a intentar la solicitud los rastreadores de Google, ya sea con un retraso en segundos o con una fecha y hora UTC absolutas:

• Un retraso en segundos:

  HTTP/1.1 503 Service Unavailable
  Retry-After: 120

• Una fecha y hora UTC absolutas:

  HTTP/1.1 503 Service Unavailable
  Retry-After: Wed, 21 Oct 2026 07:28:00 GMT

Advertencia: No es recomendable dejar esos códigos durante mucho tiempo, es decir, más de uno o dos días, ya que puede influir negativamente en la forma en que aparece su sitio en los productos de Google. Por ejemplo, en el caso de la Búsqueda, si el robot de Google detecta estos códigos de estado en la misma URL durante varios días, puede que la retire del índice de Google.

Solicitudes excepcionales para reducir la frecuencia de rastreo

Si no es posible enviar errores a los rastreadores de Google en tu infraestructura, presenta una solicitud especial para informar de un problema con una frecuencia de rastreo inusualmente alta, indicando la frecuencia óptima para tu sitio. No puedes solicitar un aumento de la frecuencia de rastreo, y la solicitud puede tardar varios días en evaluarse y aprobarse.