Cómo migrar a una CDN sin sobrecargar tu origen (ni bloquear a Googlebot)

Miércoles, 11 de noviembre de 2026

Implementar una red de distribución de contenidos (CDN) para distribuir los recursos de tu sitio en servidores perimetrales rápidos y distribuidos de forma global más cerca de los usuarios puede ser una actualización importante para cualquier sitio en crecimiento: reduce la latencia de los visitantes y protege tu servidor de origen (la fuente de información del backend que contiene tu contenido original) del tráfico intenso.

Suena perfecto, ¿verdad? Bueno, la fase de transición puede ser un poco extraña.

A veces, los propietarios de sitios nos dicen que, justo después de colocar su sitio detrás de una CDN, el tráfico del rastreador a tu servidor aumenta casi de inmediato, que es exactamente lo que intentaban corregir. Antes de que esos servidores perimetrales completen sus cachés, las visitas de los usuarios y las solicitudes de los rastreadores deben recuperarse directamente del origen.

Cuando migres a una CDN, te recomendamos que revises cómo funciona el presupuesto de rastreo y cómo reducir la frecuencia de rastreo de Google en casos de emergencia. En esta entrada de blog, te explicaremos qué esperar de ese cambio y algunos de los desafíos que implica. También es por eso que nos preparamos (con casco y manguera contra incendios) para guiarte en la transición en el episodio 5 de The Non-Canonical Cabinet. Si alguna vez te cambiaste a una CDN y te preguntaste por todo el tráfico nuevo, o si quieres evitar que tu sitio se quite accidentalmente de la Búsqueda, esto es para ti.

Entonces, ¿por qué todo se arrastra por todas partes al mismo tiempo?

Cuando cambias a la CDN, es posible que se produzca ese aumento en el tráfico de rastreadores debido a la forma en la que la infraestructura de rastreo de Google calcula el límite de capacidad de rastreo de tu sitio (también conocido como carga del host):

  • Las respuestas cada vez más lentas disminuyen la frecuencia de rastreo. La infraestructura de rastreo automatizada de Google supervisa de forma continua el estado y la capacidad de respuesta de tu servidor host. Cuando los tiempos de respuesta aumentan, nuestros rastreadores se ralentizan para no sobrecargar tu servidor y evitar que se degrade la experiencia del usuario en tu sitio.
  • Las respuestas rápidas y estables aceleran el rastreo. Cuando un servidor responde con rapidez y coherencia, nuestros sistemas interpretan esa velocidad como un signo de una infraestructura sólida y capaz. Siempre que haya demanda de rastreo, el límite de capacidad de rastreo aumentará de forma gradual.

En el momento en que tu DNS apunta a una red perimetral de CDN rápida, los tiempos de conexión y de respuesta disminuyen drásticamente. Para nuestros sistemas de rastreo, parece que tu servidor acaba de recibir una actualización masiva de hardware, por lo que nuestros rastreadores comienzan a aumentar su porcentaje de solicitudes para que coincida.

El problema. Se trata de un error de caché en los servidores perimetrales.

Una frecuencia de rastreo más alta no sería un problema si la CDN absorbiera todas esas solicitudes en el perímetro. El problema es que una CDN nueva comienza con una caché vacía (en frío).

En la primera solicitud de una URL en una ubicación de perimetral, la CDN aún no tiene una copia de ese recurso (documentos HTML, CSS, JavaScript, imágenes, etcétera); es un error de caché. Para completar la solicitud, el servidor perimetral debe "volver" hasta tu servidor de origen, recuperar la respuesta, almacenar una copia almacenable en caché para sí mismo y, luego, entregarla al cliente. Solo las solicitudes posteriores de esa misma URL almacenada en caché se convierten en aciertos de caché que se entregan directamente desde el perímetro sin molestar al origen. (En nuestro video, el servidor perimetral estaba representado por un pollo de goma que corría de un lado a otro hacia una pila de notas adhesivas. Los diagramas de redes son subjetivos).

Básicamente, el verdadero cuello de botella durante el lanzamiento de una CDN sigue siendo el servidor de origen.

Los visitantes humanos suelen agruparse en torno a un conjunto relativamente pequeño de páginas populares (tu página principal, los artículos principales o las promociones activas) que se cargan rápidamente en la caché de la CDN. Los rastreadores hacen exactamente lo contrario. Su trabajo es explorar de forma sistemática la amplitud de tu inventario de URLs.

Ahora, combina esos dos comportamientos:

  1. Las respuestas rápidas de perímetro indican a los rastreadores de Google que es seguro rastrear más rápido.
  2. A medida que los rastreadores procesan esas grandes cantidades de URLs por primera vez, cada URL que no está almacenada en caché activa un error de caché que pasa directamente a tu servidor de origen.

Los rastreadores no aumentan su frecuencia de rastreo de inmediato, y muchas CDN incluyen un ritmo de conexión integrado que ayuda a suavizar los picos de tráfico. Aun así, hasta que se complete el almacenamiento en caché perimetral (se caliente), tu CDN todavía no actuará como escudo y tu servidor de origen seguirá haciendo el trabajo pesado.

¡No te arrastrarás! Cuando la protección general contra bots va demasiado lejos

Ver un aumento inesperado de solicitudes automatizadas en los registros de origen justo después de una migración puede poner nerviosos a los administradores, si no tienen claro por qué sucede esto. Es tentador observar los gráficos de solicitudes con picos cuando se está calentando la caché y tratar de solucionar este problema accediendo al panel de CDN y activando la protección general contra bots. Como dice Cherry, "LOS BOTS NO PASARÁN".

Un desafío de CAPTCHA simulado en el que se pide seleccionar todos los cuadrados con semáforos de una cuadrícula de semáforos y pollos de goma

El problema con las reglas de seguridad generales está en el nombre: sin excepciones, tratan todo el tráfico automatizado de la misma manera, incluido el tráfico de los rastreadores que te interesan. Cuando una CDN o un firewall de aplicación web (WAF) marcan las solicitudes automatizadas y las interceptan con un desafío como CAPTCHA, los rastreadores de Google no pasan la prueba. (Googlebot tiene muchos talentos, pero detectar semáforos y pollos no es uno de ellos. De hecho, a veces ni siquiera Gary puede resolverlos).

Si dejas habilitada la protección general contra bots sin eximir a los rastreadores verificados, estos básicamente se quedarán bloqueados en una página de error que no es útil para la Búsqueda ni para otros productos que dependen de los datos rastreados. Desde nuestra perspectiva, tu sitio web parece estar restringido o dañado de forma deliberada. Si se deja en su lugar, nuestros rastreadores se retirarán y tus páginas, fichas de productos y fotos de pollos comenzarán a desaparecer de la Búsqueda.

Cómo entrenar a tu CDN (sin sobrecargar tu origen)

No es necesario que contrates a un jefe de bomberos para implementar una CDN, sino que debes tener las expectativas correctas y un plan de acción, como el siguiente:

  1. Si necesitas bloquear bots, permite los bots verificados en la configuración de tu CDN y firewall. La mayoría de las CDN y los WAF principales ofrecen un botón de activación integrado o una regla administrada para permitir bots conocidos o verificados, lo que permite que tus rastreadores preferidos omitan los desafíos de CAPTCHA y, al mismo tiempo, filtren el tráfico no deseado (puedes identificar nuestros rastreadores a través de los rangos de IP publicados de Google). O, mejor aún, configura tu archivo robots.txt o usa reglas para orientar bots específicos no deseados, en lugar de bloquear todos los clientes automatizados.
  2. Prepara las memorias caché antes de abrir las compuertas. Antes de enrutar todo el tráfico a través de la CDN nueva, recupera de forma programática las páginas con mayor tráfico y con mayor tráfico máximo (como los lanzamientos promocionales o de temporada) y las URLs rastreadas con mayor frecuencia a través de la CDN a un ritmo controlado para que las cachés perimetrales estén listas para entregar tráfico. O, si a diferencia de Gary, tienes amigos, pídeles que accedan a dos URLs distintas cada uno; eso también funciona.
  3. Usa 429 o 503 si necesitas un descanso temporal. Si el volumen de rastreo sigue generando una carga crítica en tu origen mientras se preparan las cachés, configura las reglas de límite de frecuencia de tu servidor o CDN para que devuelvan un código de estado HTTP 429 (Too Many Requests) o 503 (Service Unavailable) durante un período breve (unas horas o 1 o 2 días como máximo), como se documenta en nuestra guía para reducir de forma urgente la frecuencia de rastreo de Google.

Resumen (¿Quién pone un resumen al final?)

Antes de enrollar un cable Ethernet alrededor del gabinete del servidor y dar por terminado el día, recuerda tres cosas cuando te cambies a una CDN:

  • Las respuestas más rápidas implican un rastreo más rápido: La baja latencia perimetral de la CDN indica a los rastreadores de Google que tu sitio está en buen estado y puede controlar una frecuencia de rastreo más alta.
  • Las cachés solo te protegen en la segunda visita: En una caché fría, la primera solicitud de cada URL única es un error de caché que va directo al servidor de origen. Prepara previamente tus cachés siempre que puedas.
  • Si es necesario, exime a los rastreadores verificados de los desafíos de bots: No permitas que las reglas generales de WAF o CAPTCHA bloqueen los rastreadores de Google con muros 403 o páginas de desafío. Usa exenciones de bots verificados y recurre a respuestas temporales 429 o 503 si tu origen realmente necesita un respiro.

¿No te entretienes? Mira el episodio

Mira el final de la temporada 1 (episodio 5) de The Non-Canonical Cabinet. Explicamos la arquitectura de red con un casco de plástico, un gabinete de archivos humeante y un pollo de goma que representa un servidor perimetral, ninguno de los cuales, estamos bastante seguros, estaba en nuestras descripciones de trabajo originales.

¿Te interesa la temporada 1 completa? Intentamos romper las URLs y el archivo robots.txt. Hablamos sobre 404s y redireccionamientos. Mira los 5 episodios. Te garantizamos una sobrecarga de aves de corral.

¿Tienes un caso perimetral extraño que quieras que saquemos del gabinete (un poco tostado) la próxima temporada (presupuesto pendiente)? Deja un comentario en el video.

Mantén tus cachés activas, tus firewalls ordenados y tus pollos de goma bien protegidos.