Quarta-feira, 11 de novembro de 2026
Implantar uma rede de fornecimento de conteúdo (CDN, na sigla em inglês) para distribuir os recursos do seu site em servidores de borda rápidos e distribuídos globalmente, mais próximos dos usuários, pode ser uma grande melhoria para qualquer site em crescimento: ela reduz a latência do visitante e protege o servidor de origem (a fonte de verdade do back-end que contém o conteúdo original) contra tráfego intenso.
Parece perfeito, não é? Bem... a fase de transição pode ser um pouco estranha.
Às vezes, os proprietários de sites nos dizem que, logo após colocar o site atrás de uma CDN, o tráfego do rastreador para o servidor aumenta quase imediatamente, o que é exatamente o que eles estavam tentando corrigir. Antes que esses servidores de borda preencham os caches, as visitas de usuários e as solicitações de rastreadores ainda precisam ser buscadas diretamente na origem.
Ao migrar para uma CDN, é útil analisar como o orçamento de rastreamento funciona e como reduzir a taxa de rastreamento do Google em emergências. Neste post, vamos explicar o que esperar de uma mudança como essa e alguns dos desafios envolvidos. É por isso que nos preparamos (com capacete e mangueira de incêndio) para orientar você durante a transição no Episódio 5 de The Non-Canonical Cabinet. Se você já migrou para uma CDN e se perguntou sobre todo o novo tráfego ou se quer evitar remover acidentalmente seu site da Pesquisa, este artigo é para você.
Então por que tudo está rastreando por toda parte ao mesmo tempo?
Quando você muda para a CDN, esse aumento no tráfego do rastreador pode acontecer devido à forma como a infraestrutura de rastreamento do Google calcula o limite de capacidade de rastreamento do seu site (também conhecido como carga do host):
- Respostas cada vez mais lentas diminuem a taxa de rastreamento. A infraestrutura de rastreamento automatizado do Google monitora continuamente a integridade e a capacidade de resposta do servidor host. Quando os tempos de resposta aumentam, nossos rastreadores diminuem a velocidade para não sobrecarregar o servidor e evitar a degradação da experiência do usuário no site.
- Respostas rápidas e estáveis aceleram o rastreamento. Quando um servidor responde de forma rápida e consistente, nossos sistemas interpretam essa velocidade como um sinal de infraestrutura íntegra e capaz. Se houver demanda de rastreamento, o limite de capacidade de rastreamento vai aumentar gradualmente.
No momento em que o DNS aponta para uma rede de borda de CDN rápida, os tempos de conexão e de resposta caem drasticamente. Para nossos sistemas de rastreamento, parece que seu servidor acabou de receber um upgrade de hardware massivo. Por isso, nossos rastreadores começam a aumentar a taxa de solicitação para corresponder.
O problema. Ausência no cache nos servidores de borda.
Uma taxa de rastreamento mais alta não seria um problema se a CDN absorvesse todas essas solicitações na borda. O problema é que uma CDN nova começa com um cache vazio (frio).
Na primeira solicitação de um URL em um local de borda, a CDN ainda não tem uma cópia desse recurso (documentos HTML, CSS, JavaScript, imagens etc.). É uma ausência no cache. Para atender à solicitação, o servidor de borda precisa "voltar" até o servidor de origem, buscar a resposta, armazenar uma cópia armazenável em cache para si mesmo e, em seguida, atender ao cliente. Somente as solicitações subsequentes para esse mesmo URL em cache se tornam ocorrências em cache veiculadas diretamente da borda sem incomodar sua origem. No nosso vídeo, o servidor de borda foi representado por um frango de borracha correndo de um lado para o outro até uma pilha de notas adesivas. Os diagramas de rede são subjetivos.
Basicamente, o verdadeiro gargalo durante o lançamento de uma CDN ainda é o servidor de origem.
Os visitantes humanos geralmente se concentram em um conjunto relativamente pequeno de páginas populares (sua página inicial, artigos principais ou promoções ativas) que são carregadas rapidamente no cache da CDN. Os rastreadores fazem exatamente o oposto. O trabalho deles é analisar sistematicamente todo o inventário de URLs.
Agora, combine esses dois comportamentos:
- As respostas rápidas de borda indicam aos rastreadores do Google que é seguro rastrear mais rapidamente.
- Quando os rastreadores processam esses grandes números de URLs pela primeira vez, cada URL sem cache aciona uma ausência no cache que passa direto para o servidor de origem.
Os rastreadores não aumentam a taxa de rastreamento imediatamente, e muitas CDNs incluem um ritmo de conexão integrado que ajuda a suavizar os picos de tráfego. Mesmo assim, até que o armazenamento em cache de borda seja preenchido (aquecido), sua CDN ainda não está agindo como um escudo, e o servidor de origem ainda está fazendo o trabalho pesado.
Não rastreie! Quando a proteção geral contra bots vai longe demais
Um aumento inesperado de solicitações automatizadas nos registros de origem logo após uma migração pode deixar os administradores preocupados, se não estiver claro por que isso está acontecendo. É tentador analisar os gráficos de solicitações de pico quando o cache está sendo aquecido e tentar resolver isso fazendo login no painel da CDN e ativando a proteção geral contra bots. Para citar Cherry, "BOTS NÃO PASSARÃO"!
O problema com as regras de segurança gerais está no próprio nome: sem isenções, elas tratam todo o tráfego automatizado da mesma forma, incluindo o tráfego de rastreadores que são importantes para você. Quando uma CDN ou um firewall de aplicativos da web (WAF) sinaliza solicitações automatizadas e as intercepta com um desafio como CAPTCHA, os rastreadores do Google não passam no teste. O Googlebot tem muitos talentos, mas identificar semáforos e galinhas não é um deles. Na verdade, nem o Gary consegue resolver alguns deles.)
Deixar a proteção geral contra bots ativada sem isentar os rastreadores verificados faz com que eles fiquem presos em uma página de erro que não é útil para a Pesquisa ou outros produtos que dependem de dados rastreados. Do nosso ponto de vista, seu site parece estar deliberadamente restrito ou corrompido. Se não forem removidos, nossos rastreadores vão recuar, e suas páginas, informações de produtos e fotos de galinhas vão começar a desaparecer da Pesquisa.
Como treinar sua CDN (sem queimar sua origem)
Não é preciso contratar um bombeiro para implantar uma CDN. Você precisa das expectativas certas e de um plano de ação, como:
- Se você precisar bloquear bots, permita os verificados nas configurações da CDN e do firewall. A maioria das principais CDNs e WAFs oferece uma opção integrada ou uma regra gerenciada para permitir bots conhecidos/verificados, permitindo que seus rastreadores preferidos ignorem os desafios de CAPTCHA enquanto ainda filtram o tráfego indesejado. É possível identificar nossos rastreadores pelos intervalos de IP publicados pelo Google. Ou melhor ainda, configure o arquivo robots.txt ou use regras para segmentar bots indesejados específicos, em vez de bloquear todos os clientes automatizados.
- Pré-aqueça os caches antes de abrir as comportas. Antes de rotear todo o tráfego pela nova CDN, busque de maneira programática as páginas com maior tráfego e com picos de tráfego futuros (como lançamentos promocionais ou sazonais) e os URLs de rastreamento com mais frequência pela CDN em um ritmo controlado para que o armazenamento em cache de borda esteja pronto para exibir o tráfego. Ou, se você tiver amigos, peça para que cada um acesse dois URLs diferentes. Isso também funciona.
-
Use
429ou503se precisar de uma pausa temporária. Se o volume de rastreamento ainda estiver colocando uma carga crítica na origem enquanto os caches são aquecidos, configure as regras de limitação de taxa do servidor ou da CDN para retornar um código de status HTTP429 (Too Many Requests)ou503 (Service Unavailable)por um curto período (algumas horas ou no máximo 1 a 2 dias), conforme documentado no nosso guia sobre como reduzir com urgência a taxa de rastreamento do Google.
Resumo (quem coloca um "Texto longo, leia o resumo" no final?!)
Antes de enrolar um cabo Ethernet no gabinete do servidor e encerrar o dia, lembre-se de três coisas ao migrar para uma CDN:
- Respostas mais rápidas significam rastreamento mais rápido: a baixa latência de borda da CDN indica aos rastreadores do Google que seu site está íntegro e pode lidar com uma taxa de rastreamento mais alta.
- Os caches só protegem você na segunda visita: em um cache frio, a primeira solicitação para cada URL exclusivo é uma ausência no cache que vai direto para o servidor de origem. Pré-aqueça seus caches sempre que possível.
-
Se necessário, isente os rastreadores verificados dos desafios de bot: não permita que regras gerais de WAF ou CAPTCHA bloqueiem os rastreadores do Google com paredes
403ou páginas de desafio. Use isenções de bots verificados e use respostas temporárias429ou503se sua origem realmente precisar de uma pausa.
Você não está curtindo? Assista o episódio!
Assista ao final da 1ª temporada (episódio 5) de The Non-Canonical Cabinet! Explicamos a arquitetura de rede usando um capacete de plástico, um arquivo fumegante e um frango de borracha que representa um servidor de borda. Temos certeza de que nada disso estava nas nossas descrições de cargo originais.
Quer assistir à 1ª temporada completa? Tentamos quebrar URLs e robots.txt. Falamos sobre
404s
e redirecionamentos.
Assista os cinco episódios.
Garantimos que você vai ver muitas aves.
Tem um caso extremo estranho que você quer que a gente tire do armário (um pouco queimado) na próxima temporada (dependendo do orçamento)? Deixe um comentário no vídeo.
Mantenha seus caches aquecidos, seus firewalls organizados e suas galinhas de borracha protegidas com plástico-bolha!