Cómo migrar a una CDN sin sobrecargar el servidor de origen (ni bloquear el robot de Google)

Miércoles, 11 de noviembre del 2026

Implementar una red de distribución de contenido (CDN) para repartir los recursos de tu sitio en servidores de borde rápidos y distribuidos globalmente puede suponer una gran mejora para cualquier web en crecimiento: reduce la latencia de los visitantes y protege tu servidor de origen (la fuente de backend de confianza que aloja el contenido original) del tráfico intenso.

Suena perfecto, ¿verdad? Bueno, la fase de transición puede ser un poco rara.

A veces, los propietarios de sitios web nos comentan que, justo después de implementar una CDN, el tráfico de rastreo a su servidor se dispara casi de inmediato, que es precisamente lo que intentaban evitar. Hasta que esos servidores de borde no llenen sus cachés, tanto las visitas de los usuarios como las solicitudes de los rastreadores se seguirán enviando directamente al servidor de origen.

Al cambiar a una CDN, conviene revisar tanto el funcionamiento del presupuesto de rastreo como la forma de reducir la frecuencia de rastreo de Google en caso de emergencia. El objetivo de esta entrada de blog es explicarte qué puedes esperar de un cambio de este tipo y algunos de los retos que conlleva. Por eso, nos hemos equipado (con casco y manguera incluidos) para ayudarte a lidiar con esta transición en el episodio 5 de The Non-Canonical Cabinet. Si alguna vez has pasado tu sitio a una CDN y te has preguntado a qué se debe todo ese tráfico nuevo, o si quieres evitar que tu sitio desaparezca de la Búsqueda por accidente, ¡esto te interesa!

¿Por qué se está rastreando todo a la vez en todas partes?

Al cambiar a una CDN, puede producirse un aumento del tráfico de rastreo debido a la forma en que la infraestructura de Google calcula el límite de capacidad de rastreo de tu sitio (también conocido como hostload):

  • Si las respuestas son cada vez más lentas, la frecuencia de rastreo disminuye. La infraestructura de rastreo automatizado de Google supervisa continuamente el estado y la capacidad de respuesta de tu servidor host. Cuando los tiempos de respuesta aumentan, nuestros rastreadores bajan el ritmo para no sobrecargar tu servidor y evitar que la experiencia de usuario en el sitio se vea afectada.
  • Las respuestas rápidas y estables agilizan el rastreo. Cuando un servidor responde con rapidez y coherencia, nuestros sistemas interpretan esa velocidad como una señal de que la infraestructura es estable y capaz. Siempre que haya demanda de rastreo, el límite de capacidad de rastreo aumentará gradualmente.

En cuanto tu DNS apunta a una red de borde de CDN rápida, los tiempos de conexión y de respuesta caen drásticamente. Para nuestros sistemas de rastreo, parece que tu servidor acaba de recibir una gran mejora de hardware, por lo que nuestros rastreadores empiezan a aumentar su frecuencia de solicitudes para ajustarse a ella.

El problema. En los servidores de borde, un fallo de caché hay.

Una frecuencia de rastreo más alta no supondría un problema si la CDN gestionara todas esas solicitudes directamente desde sus servidores de borde. La cuestión es que una CDN nueva empieza con una caché vacía (en frío).

En la primera solicitud de una URL en una ubicación de borde, la CDN aún no tiene una copia de ese recurso (documentos HTML, CSS, JavaScript, imágenes, etc.); se produce un error de caché. Para completar la solicitud, el servidor de borde tiene que "viajar" hasta tu servidor de origen, obtener la respuesta, guardar una copia en su propia caché y, finalmente, servírsela al cliente. Solo las solicitudes posteriores de esa misma URL se convierten en resultados en caché que se sirven directamente desde el borde sin tener que recurrir al servidor de origen. (En nuestro vídeo, el servidor de borde estaba representado por un pollo de goma que corría de un lado a otro hacia una pila de notas adhesivas. Los diagramas de redes son algo subjetivo).

En resumen, el servidor de origen sigue siendo el verdadero cuello de botella al lanzar una CDN.

Los visitantes humanos suelen concentrarse en un conjunto relativamente pequeño de páginas populares (como la página principal, los artículos destacados o las promociones activas), que se almacenan rápidamente en la caché de la CDN. Los rastreadores hacen exactamente lo contrario. Su función es explorar sistemáticamente todo tu inventario de URLs.

Ahora, combina esos dos comportamientos:

  1. Si las respuestas de los servidores de borde son rápidas, los rastreadores de Google interpretan que pueden aumentar la frecuencia de rastreo de forma segura.
  2. A medida que los rastreadores procesan ese gran número de URLs por primera vez, cada URL que no está en caché provoca un fallo de caché que se envía directamente a tu servidor de origen.

Los rastreadores no aumentan su frecuencia de rastreo de golpe, y muchas CDN cuentan con funciones integradas de regulación de conexiones que ayudan a suavizar los picos de tráfico. Aun así, hasta que las cachés de borde se llenen (se calienten), la CDN todavía no actuará como escudo y el servidor de origen seguirá haciendo todo el trabajo pesado.

¡No rastrearás! Cuando la protección genérica contra robots va demasiado lejos.

Es comprensible que los administradores se pongan nerviosos si ven un aumento inesperado de solicitudes automatizadas en los registros de origen justo después de una migración, sobre todo si no tienen claro por qué ocurre. Es tentador ver cómo se disparan los gráficos de solicitudes mientras la caché se está calentando e intentar solucionarlo entrando en el panel de control de la CDN para activar una protección general contra robots. Como dice Cherry: "¡LOS BOTS NO PASARÁN!"

Un simulacro de CAPTCHA en el que se pide seleccionar todos los cuadrados con semáforos de una cuadrícula de semáforos y pollos de goma

El problema de las reglas de seguridad indiscriminadas reside en su propio nombre: al no haber excepciones, tratan todo el tráfico automatizado por igual, incluido el de los rastreadores que sí te interesan. Cuando una CDN o un cortafuegos de aplicación web (WAF) detectan solicitudes automatizadas y las interceptan con una prueba tipo CAPTCHA, los rastreadores de Google no logran superarla. (El robot de Google tiene muchos talentos, pero identificar semáforos y pollos no es uno de ellos. De hecho, a veces ni siquiera Gary puede resolverlo).

Si dejas activada la protección general contra bots sin incluir excepciones para los rastreadores verificados, estos se quedarán básicamente atrapados en una página de error que no sirve de nada para la Búsqueda ni para otros productos que dependen de los datos rastreados. Desde nuestro punto de vista, parece que tu sitio web está restringido o no funciona a propósito. Si se mantienen estas restricciones, nuestros rastreadores se retirarán y tus páginas, fichas de producto y fotos de pollos empezarán a desaparecer de la Búsqueda.

Cómo entrenar a tu CDN (sin achicharrar el origen)

No hace falta contratar a un jefe de bomberos para implementar una CDN; solo necesitas tener las expectativas claras y un plan de acción, como el siguiente:

  1. Si necesitas bloquear bots, permite los verificados en la configuración de tu CDN y del cortafuegos. La mayoría de las CDNs y los WAFs principales ofrecen un interruptor integrado o una regla gestionada para permitir bots conocidos o verificados. Esto permite que tus rastreadores preferidos eviten las pruebas de CAPTCHA mientras se sigue filtrando el tráfico no deseado (puedes identificar nuestros rastreadores mediante los intervalos de IP publicados por Google). O, mejor aún, configura tu archivo robots.txt o utiliza reglas para filtrar bots específicos no deseados, en vez de bloquear todos los clientes automatizados.
  2. Calienta la caché antes de abrir las compuertas. Antes de enrutar todo el tráfico a través de la nueva CDN, solicita de forma programática las páginas con más tráfico, las que tengan picos de visitas próximos (como lanzamientos promocionales o de temporada) y las URLs rastreadas con más frecuencia. Hazlo a un ritmo controlado para que las cachés de borde estén listas para servir el tráfico. O, si a diferencia de Gary, tú sí tienes amigos, pídeles que entren cada uno en dos URLs distintas; eso también sirve.
  3. Usa 429 o 503 si necesitas aplicar un freno temporal. Si el volumen de rastreo sigue suponiendo una carga crítica para tu servidor de origen mientras se calienta la caché, configura las reglas de límite de uso de tu servidor o CDN para que devuelvan un código de estado HTTP 429 (Too Many Requests) o 503 (Service Unavailable) durante un periodo breve (unas horas o, como mucho, uno o dos días), tal como se explica en nuestra guía sobre cómo reducir urgentemente la frecuencia de rastreo de Google.

Mucho texto (¿Quién pone un resumen al final?)

Antes de enrollar un cable Ethernet alrededor del armario del servidor y dar el día por terminado, recuerda estas tres cosas al pasar a una CDN:

  • Respuestas más rápidas, rastreo más rápido: una baja latencia en los nodos de la CDN indica a los rastreadores de Google que tu sitio web funciona bien y que puede soportar una mayor frecuencia de rastreo.
  • Las cachés solo te protegen a partir de la segunda visita: cuando la caché está "fría", la primera solicitud de cada URL única es un error de caché que va directo al servidor de origen. Precalienta la caché siempre que sea posible.
  • Si es necesario, exime a los rastreadores verificados de los desafíos para bots: no permitas que las reglas generales de WAF o CAPTCHA bloqueen a los rastreadores de Google con muros de 403 o páginas de verificación; utiliza exenciones para bots verificados y recurre a respuestas temporales 429 o 503 si tu servidor de origen realmente necesita un respiro.

¿No te has divertido? No te pierdas el episodio.

No te pierdas el final de la primera temporada (episodio 5) de The Non-Canonical Cabinet. Explicamos la arquitectura de red usando un casco de obra de plástico, un archivador que echa humo y un pollo de goma que hace las veces de servidor de borde; cosas que, estamos bastante seguros, no figuraban en nuestras descripciones de puesto originales.

¿Quieres ver la temporada 1 completa? Intentamos romper las URLs y el archivo robots.txt. Hablamos de 404s y redirecciones. Disfruta de los 5 episodios. Garantizamos un empacho de pollos.

¿Tienes algún caso atípico extraño que quieras que saquemos del armario (un poco chamuscado) la próxima temporada (si el presupuesto lo permite)? Deja un comentario en el vídeo.

¡Mantén tus cachés calientes, tus cortafuegos al día y tus pollos de goma bien envueltos en plástico de burbujas!