Reducir la frecuencia de rastreo del robot de Google

Mediante sofisticados algoritmos, Google determina cuál es la frecuencia óptima con la que se debe rastrear un sitio web. Su objetivo es rastrear el mayor número posible de páginas de un sitio web en cada visita sin colapsar el ancho de banda del servidor. En algunos casos, el rastreo que hace Google de tu sitio web puede llegar a imponer una carga excesiva en tu infraestructura o generar costes no deseados por una interrupción del servicio. Para solucionar este problema, puedes reducir el número de solicitudes del robot de Google.

Si optas por reducir la frecuencia de rastreo del robot de Google, estas son algunas opciones que tienes a tu disposición:

Reducir la frecuencia de rastreo con Search Console (opción recomendada)

En Search Console puedes cambiar la frecuencia de rastreo del robot de Google si lo que quieres es reducirla rápidamente. Los cambios que hagas suelen surtir efecto en unos días. Para utilizar este ajuste, primero verifica que eres el propietario del sitio web. A la hora de elegir una frecuencia de rastreo, no selecciones un valor que sea inferior a las necesidades de tu sitio web. Más información sobre las limitaciones del rastreo del robot de Google

Permitir que Google reduzca la frecuencia de rastreo automáticamente

Si necesitas reducir urgentemente la frecuencia de rastreo durante un periodo breve como un par de horas o uno o dos días, devuelve una página de error informativa con un código de resultado HTTP 500, 503 o 429 en lugar de todo el contenido. El robot de Google reduce la frecuencia de rastreo de tu sitio web cuando detecta un número significativo de URLs con códigos de resultado HTTP 500, 503 o 429; por ejemplo, porque has inhabilitado tu sitio web. El cambio aparece reflejado tanto en el rastreo de las URL que devuelven estos errores como en los datos generales del sitio web. Una vez que se haya reducido el número de estos errores, la frecuencia de rastreo empezará a aumentar automáticamente.