Optimiza tu presupuesto de rastreo

En esta guía, se describe cómo optimizar el rastreo de Google de sitios muy grandes y que se actualizan con frecuencia.

Si tu sitio no tiene una gran cantidad de páginas que cambian rápidamente, o si estas parecen rastrearse el mismo día que se publican, no es necesario que leas esta guía. En el caso de la Búsqueda de Google específicamente, solo mantén actualizado tu mapa del sitio y revisa el informe de indexación de páginas de forma periódica.

¿A quién está dirigida esta guía?

Si bien las recomendaciones en esta guía son prácticas recomendadas generales, se trata de una guía avanzada destinada principalmente a los siguientes tipos de sitios:

• Sitios grandes (más de 1 millón de páginas únicas) con contenido que cambia con cierta frecuencia (una vez a la semana)
• Sitios medianos o grandes (más de 10,000 páginas únicas) con contenido que cambia muy rápidamente (a diario)
• Sitios con una gran parte del total de sus URLs clasificadas por Search Console como Descubiertas (actualmente sin indexar)

Las cifras que se proporcionan aquí son una aproximación para ayudarte a clasificar tu sitio. No son umbrales exactos.

Teoría general del rastreo

La Web es un espacio casi infinito que excede la capacidad de Google para explorar todas las URLs de acceso público. Por lo tanto, Google tiene límites en la cantidad de tiempo y recursos que puede dedicar a rastrear cada sitio. La asignación de estos recursos se suele denominar presupuesto de rastreo de un sitio. En este contexto, la infraestructura de rastreo de Google define un sitio como un nombre de host único. Por ejemplo, https://www.example.com/ y https://code.example.com/ se tratan como sitios independientes y tienen presupuestos de rastreo independientes. El presupuesto de rastreo de un sitio se determina en función de dos elementos principales: el límite de la capacidad de rastreo y la demanda de rastreo.

En el caso de la Búsqueda de Google, no necesariamente todas las páginas que se rastrean se indexan. Después del rastreo, cada página debe evaluarse, consolidarse y analizarse para determinar si es apta para la indexación.

Límite de la capacidad de rastreo

Google desea rastrear tu sitio sin sobrecargar tus servidores. Para evitarlo, los rastreadores de Google calculan un límite de la capacidad de rastreo (también conocido como carga del host). Esto limita la cantidad total de tiempo que tu servidor dedica a mantener las conexiones abiertas para Google, teniendo en cuenta la cantidad de conexiones paralelas y su duración. Esto garantiza que Google pueda abarcar todo tu contenido importante sin sobrecargar tus servidores.

Cada sitio comienza con el mismo límite de capacidad de rastreo predeterminado y conservador. Si hay demanda para rastrear más y el sitio sigue en buen estado, los sistemas de Google ajustarán automáticamente este límite con el tiempo.

El límite de la capacidad de rastreo puede aumentar o disminuir según ciertos factores:

• Estado del rastreo: Si el sitio responde de manera constante y sus tiempos de respuesta (incluida la latencia y el tiempo hasta el primer byte) se mantienen estables o mejoran, el límite aumentará, lo que implica que se podrán usar más conexiones para rastrear. Si el sitio se ralentiza (la latencia aumenta o los tiempos de respuesta se prolongan) o si responde con errores de servidor (códigos de estado 5xx HTTP) o indicadores de limitación de frecuencia (como HTTP 429), el límite disminuye y Google rastrea menos.
• Límites de rastreo de Google: Si bien los recursos de Google son extensos, son finitos, y debemos priorizar la asignación de recursos en toda la Web.

Demanda de rastreo

Cada rastreador tiene su propia "demanda" cuando se trata de rastrear la Web, que se determina según factores propios de ese rastreador. Por ejemplo, AdsBot suele tener una mayor demanda cuando un sitio publica anuncios dinámicos segmentados, y Google Shopping tiene una mayor demanda de los productos que tienes en tus feeds de Merchant Center.

En el caso de Googlebot, la demanda varía según el tamaño, la frecuencia de actualización, la calidad de las páginas y la relevancia de un sitio, en comparación con otros sitios. Los factores principales en los que puedes influir son los siguientes:

• Inventario percibido: Si no le indicas lo contrario, Google intentará rastrear todas o la mayoría de las URLs que conoce de tu sitio. Si muchas de esas URLs están duplicadas o por algún otro motivo no quieres rastrearlas (porque se quitaron, porque tienen poca importancia, etc.), Google desperdiciará mucho tiempo de rastreo en tu sitio. Este es el factor que más puedes controlar a tu favor.
• Popularidad: Las URLs más populares de Internet tienden a rastrearse con mayor frecuencia para mantenerlas actualizadas en nuestro sistema.
• Obsolescencia: Nuestros sistemas volverán a rastrear los documentos con la frecuencia suficiente para detectar cualquier cambio.

Además, los eventos que afectan a todo el sitio, como sus traslados, pueden provocar un aumento en la demanda de rastreo para volver a procesar el contenido en las URLs nuevas.

Si bien cada rastreador tiene una demanda de rastreo diferente, el límite de capacidad de rastreo se comparte entre todos los rastreadores. Esto significa que una alta demanda de un rastreador puede reducir la capacidad disponible para otros.

Resumen

En función de la capacidad de rastreo y su demanda, Google define el presupuesto de rastreo de un sitio como el conjunto de URLs que podrá rastrear Google. Aunque no se alcance el límite de la capacidad de rastreo, si la demanda de este es baja, Google rastreará tu sitio con menor frecuencia.

Prácticas recomendadas

Para maximizar la eficiencia del rastreo, sigue estas prácticas recomendadas:

• Administra tu inventario de URL: Usa las herramientas adecuadas para indicarle a Google qué páginas rastrear y cuáles no. Si Google dedica demasiado tiempo a rastrear URLs que no debería, es posible que los rastreadores de Google no exploren el resto de tu sitio o que no aumenten tu presupuesto de rastreo.
  • Consolida el contenido duplicado. Elimina el contenido duplicado para centrar el rastreo en contenido único, en lugar de hacerlo en URL únicas.
  • Bloquea el rastreo de las URLs usando robots.txt. Algunas páginas pueden ser importantes para los usuarios, pero no necesariamente quieres que aparezcan en las plataformas de Google ni que los sistemas de Google las vuelvan a procesar. Por ejemplo, las páginas de desplazamiento infinito que duplican información en páginas vinculadas o las versiones ordenadas de manera diferente de la misma página. Si no puedes consolidarlas como se describe en la primera viñeta, usa robots.txt para bloquear estas páginas sin importancia. Si bloqueas las URLs con robots.txt, evitarás que Google las rastree y disminuirá de forma significativa la probabilidad de que otros sistemas de Google las procesen (por ejemplo, que la Búsqueda de Google las indexe).
    No uses noindex, ya que Google realizará la solicitud de todos modos y, cuando vea una etiqueta noindex meta o un encabezado en la respuesta HTTP, descartará la página, lo que desperdiciará tiempo de rastreo. No uses robots.txt para reasignar de forma temporal el presupuesto de rastreo para otras páginas; utiliza robots.txt para bloquear páginas o recursos que no quieras que Google rastree en absoluto. Google no reasignará a otras páginas el presupuesto de rastreo disponible recientemente, a menos que haya alcanzado el límite de la capacidad de rastreo de tu sitio.
  • Muestra un código de estado 404 o 410 para páginas que se quitaron de forma permanente. Google no olvidará una URL que conozca, pero un código de estado 404 es un indicador claro para no volver a rastrear esa URL. Sin embargo, las URLs bloqueadas permanecerán en la cola de rastreo durante mucho más tiempo y se volverán a rastrear cuando se quite el bloqueo.
  • Elimina los errores soft 404. Se seguirán rastreando las páginas soft 404, y se desperdiciará tu presupuesto. Consulta el Informe de indexación de páginas para comprobar si hay errores soft 404.
  • Mantén actualizados tus mapas del sitio. Google lee tu mapa del sitio con regularidad, así que asegúrate de incluir todo el contenido que deseas que Google rastree. Si tu sitio incluye contenido actualizado, te recomendamos incluir la etiqueta <lastmod>.
  • Evita las cadenas de redireccionamiento largas, que tienen un efecto negativo en el rastreo.
• Haz que tus páginas se carguen de forma eficiente. Si Google carga y procesa tus páginas más rápido, es probable que podamos leer más contenido del sitio.
  • Mejora la velocidad de carga: Optimiza los tiempos de respuesta del servidor y los recursos para que las páginas se carguen más rápido.
  • Usa el almacenamiento en caché de HTTP: Admite códigos de estado HTTP 304 (Not Modified). Si una página no cambió desde la última vez que Google la rastreó, devolver un código 304 le indica a Google que reutilice la versión almacenada en caché, lo que ahorra ancho de banda y recursos del servidor.
• Depura los problemas relacionados con el presupuesto de rastreo. Verifica si tu sitio tuvo problemas de disponibilidad durante el rastreo y busca maneras de que este sea más eficaz.

¿Cómo puedo obtener más presupuesto de rastreo?

Existen dos formas de aumentar el presupuesto de rastreo:

• Agrega más recursos del servidor: Si no se puede rastrear tu sitio debido a la capacidad de tu servidor (por ejemplo, si recibes el mensaje Se excedió la carga del host en la herramienta de inspección de URLs), agrega más recursos del servidor si tiene sentido para tu empresa.
• Optimiza la calidad de tu contenido para el producto de Google al que resegmentas tu campaña: Google determina los recursos de rastreo asignados a cada sitio teniendo en cuenta los elementos que son pertinentes para el producto de Google específico. Por ejemplo, en el caso de la Búsqueda de Google, esto incluye aspectos como la popularidad, el valor general para el usuario, la exclusividad del contenido y la capacidad de publicación.