Mercoledì 11 novembre 2026
L'implementazione di una rete CDN (Content Delivery Network) per distribuire gli asset del vostro sito su server perimetrali veloci e distribuiti a livello globale più vicini agli utenti può essere un importante aggiornamento per qualsiasi sito in crescita: riduce la latenza per i visitatori e protegge il server di origine (il backend che ospita i contenuti originali) dal traffico intenso.
Sembra perfetto, vero? Beh… la fase di transizione può essere piuttosto delicata.
A volte i proprietari di siti ci dicono che, subito dopo aver inserito il proprio sito dietro una CDN, il traffico dei crawler verso il loro server aumenta quasi immediatamente, il che è proprio il problema che volevano risolvere. Prima che questi server perimetrali popolino le proprie cache, sia le visite degli utenti che le richieste dei crawler devono comunque essere recuperate direttamente dall'origine.
Quando passate a una CDN, è utile esaminare sia il funzionamento del budget di scansione sia come ridurre la frequenza di scansione di Google in caso di emergenza. Questo post del blog ha lo scopo di illustrare cosa aspettarsi da una migrazione di questo tipo e alcune delle sfide che comporta. È anche il motivo per cui ci siamo equipaggiati (con elmetto e manichetta antincendio) per guidarti nella transizione nell'episodio 5 di The Non-Canonical Cabinet. Se avete mai eseguito la migrazione verso una CDN e vi siete chiesti da dove provenisse tutto il nuovo traffico o se volete evitare di rimuovere accidentalmente il vostro sito dalla Ricerca, questo articolo fa al caso vostro.
Perché tutto viene scansionato ovunque nello stesso momento?
Quando passate alla CDN, questo aumento del traffico dei crawler potrebbe verificarsi a causa del modo in cui l'infrastruttura di scansione di Google calcola il limite di capacità di scansione del vostro sito (noto anche come carico host):
- Risposte sempre più lente riducono la frequenza di scansione. L'infrastruttura di scansione automatica di Google monitora continuamente l'integrità e la reattività del vostro server. Quando i tempi di risposta aumentano, i nostri crawler rallentano per non sovraccaricare il server ed evitare di compromettere l'esperienza utente sul vostro sito.
- Le risposte rapide e stabili velocizzano la scansione. Quando un server risponde rapidamente e in modo coerente, i nostri sistemi interpretano questa velocità come un segno di un'infrastruttura solida e affidabile. Se esiste una domanda di scansione, il limite di capacità di scansione aumenta gradualmente.
Nel momento in cui il vostro DNS punta a una rete edge CDN veloce, i tempi di connessione e di risposta diminuiscono drasticamente. Per i nostri sistemi di scansione, sembra che il vostro server abbia appena ricevuto un enorme aggiornamento hardware, quindi i nostri crawler iniziano ad aumentare il tasso di richieste di conseguenza.
Il problema Fallimento della cache sui server perimetrali.
Una frequenza di scansione più elevata non sarebbe un problema se la CDN assorbisse tutte queste richieste alla periferia. Il problema è che una CDN appena attivata inizia con una cache vuota (a freddo).
Alla prima richiesta di un URL in una località perimetrale, la CDN non ha ancora una copia di quell'asset (documenti HTML, CSS, JavaScript, immagini e così via); si tratta di un fallimento della cache. Per soddisfare la richiesta, il server perimetrale deve "tornare" al server di origine, recuperare la risposta, memorizzare una copia memorizzabile nella cache e poi inviare la risposta al client. Solo le richieste successive per lo stesso URL memorizzato nella cache diventano successi della cache gestiti direttamente dall'edge senza disturbare l'origine. (Nel nostro video, il server perimetrale era rappresentato da un pollo di gomma che correva avanti e indietro verso una pila di foglietti adesivi. I diagrammi di rete sono soggettivi.
In pratica, il vero collo di bottiglia durante il lancio di una CDN è ancora il server di origine.
Di norma, i visitatori in carne e ossa tendono a concentrarsi su una cerchia ristretta di pagine molto popolari (come la homepage, gli articoli in evidenza o le promozioni attive), che scaldano i motori della cache CDN in tempi brevi. I crawler fanno esattamente il contrario. Il loro compito è esplorare sistematicamente l'ampiezza del vostro inventario di URL.
Ora combinate questi due comportamenti:
- Le risposte rapide dell'edge indicano ai crawler di Google che è sicuro eseguire la scansione più velocemente.
- Quando i crawler scansionano per la prima volta questo grande volume di URL, ogni URL non memorizzato nella cache attiva un fallimento della cache che passa direttamente al server di origine.
I crawler non aumentano immediatamente la frequenza di scansione e molte CDN includono un meccanismo integrato di pacing delle connessioni che aiuta a mitigare i picchi di traffico. Tuttavia, finché le cache perimetrali non vengono popolate (riscaldate), la CDN non funge ancora da scudo e il server di origine continua a svolgere il lavoro più oneroso.
Non si scansiona! Quando la protezione generica dai bot va troppo oltre
Un aumento imprevisto delle richieste automatiche nei log di origine subito dopo una migrazione può comprensibilmente innervosire gli amministratori, se non è chiaro il motivo per cui ciò accade. Quando la cache si sta riscaldando, si è tentati di guardare i grafici delle richieste con picchi e di provare a risolvere il problema accedendo al pannello di controllo della CDN e attivando la protezione generale dai bot. Per citare Cherry, "I BOT NON PASSERANNO"!
Il problema delle regole di sicurezza generali è proprio nel nome: senza esenzioni, trattano tutto il traffico automatico allo stesso modo, incluso il traffico proveniente dai crawler che vi interessano. Quando una rete CDN o un web application firewall (WAF) segnala le richieste automatiche e le intercetta con una verifica come CAPTCHA, i crawler di Google non superano il test. (Googlebot ha molti talenti, ma individuare semafori e polli non è uno di questi. In effetti, a volte nemmeno Gary riesce a risolverli.)
Se lasciate attiva la protezione generale dai bot senza esentare i crawler verificati, questi ultimi rimangono sostanzialmente bloccati su una pagina di errore che non è utile per la Ricerca o per altri prodotti che si basano sui dati sottoposti a scansione. Dal nostro punto di vista, il vostro sito web sembra deliberatamente limitato o non funzionante. Se non vengono rimosse, i nostri crawler si ritireranno e le vostre pagine, le schede di prodotto e le foto dei polli inizieranno a scomparire dalla Ricerca.
Come addestrare la vostra CDN (senza bruciare l'origine)
Non è necessario assumere un responsabile antincendio per attivare una CDN; dovete avere le giuste aspettative e un piano d'azione, ad esempio:
- Se dovete bloccare i bot, consentite i bot verificati nelle impostazioni della CDN e del firewall. La maggior parte delle reti CDN e dei WAF principali offre un'opzione di attivazione/disattivazione integrata o una regola gestita per consentire i bot noti/verificati, consentendo ai crawler che preferite di aggirare i controlli CAPTCHA e di filtrare comunque il traffico indesiderato (potete identificare i nostri crawler tramite gli intervalli IP pubblicati da Google). O, ancora meglio, configurate il file robots.txt o usate le regole per prendere di mira specifici bot indesiderati anziché bloccare tutti i client automatici.
- Preriscaldate le cache prima di aprire le cateratte. Prima di instradare tutto il traffico tramite la nuova CDN, recuperate in modo programmatico le pagine con il traffico più elevato, quelle con il traffico di picco imminente (ad esempio lanci promozionali o stagionali) e gli URL sottoposti a scansione più di frequente tramite la CDN a un ritmo controllato, in modo che le cache perimetrali siano pronte a gestire il traffico. In alternativa, se a differenza di Gary avete degli amici, chiedete loro di visitare due URL diversi ciascuno; anche questo funziona.
-
Utilizzate
429o503se avete bisogno di una pausa temporanea. Se il volume di scansione continua a sovraccaricare l'origine durante il riscaldamento delle cache, configurate le regole di limitazione di frequenza del server o della CDN in modo che restituiscano un codice di stato HTTP429 (Too Many Requests)o503 (Service Unavailable)per un breve periodo di tempo (alcune ore o al massimo 1-2 giorni), come documentato nella nostra guida alla riduzione urgente della frequenza di scansione di Google.
Riepilogo TL;DR (Chi mette un TL;DR alla fine?!)
Prima di avvolgere un cavo Ethernet attorno all'armadio del server e dichiarare conclusa la giornata, ricordate tre cose quando passate a una CDN:
- Risposte più rapide significano una scansione più veloce: una bassa latenza dei server perimetrali della CDN indica ai crawler di Google che il vostro sito è integro e può gestire una frequenza di scansione più elevata.
- Le cache vi proteggono solo alla seconda visita: in una cache fredda, la prima richiesta per ogni URL univoco è un fallimento della cache che va direttamente al server di origine. Preriscaldate le cache, se possibile.
-
Se necessario, esentate i crawler verificati dalle verifiche dei bot: non consentite alle regole WAF o CAPTCHA generali di bloccare i crawler di Google con muri
403o pagine di verifica; utilizzate le esenzioni per i bot verificati e affidati a risposte429o503temporanee se la vostra origine ha davvero bisogno di una pausa.
Non vi state divertendo? Guardate la puntata
Guardate il finale della prima stagione (episodio 5) di The Non-Canonical Cabinet. Spieghiamo l'architettura di rete utilizzando un elmetto da cantiere in plastica, uno schedario fumante e un pollo di gomma che funge da server perimetrale, nessuno dei quali, ne siamo abbastanza certi, era presente nelle nostre descrizioni delle mansioni originali.
Vi interessa l'intera prima stagione? Abbiamo provato a interrompere gli URL e il file robots.txt. Abbiamo chiacchierato di 404 e reindirizzamenti.
Guardate tutte e 5 le puntate.
Garantiamo un'overdose di polli.
Avete un caso limite particolare che vorreste che tirassimo fuori dal nostro armadietto (un po' bruciacchiato) nella prossima stagione (budget permettendo)? Lasciate un commento sul video.
Tenete le cache calde, i firewall in ordine e i polli di gomma nel pluriball.