Se il tuo sito presenta pagine adattabili alla lingua/località (vale a dire, se il tuo sito restituisce contenuti diversi in base al paese rilevato o alla lingua preferita del visitatore), Google potrebbe non sottoporre a scansione, indicizzare o posizionare tutti i tuoi contenuti per le diverse impostazioni internazionali. Questo perché gli indirizzi IP predefiniti del crawler Googlebot sembrano essere negli Stati Uniti. Inoltre, il crawler invia le richieste HTTP senza impostare Accept-Language nell'intestazione della richiesta.
Scansione con distribuzione geografica
Googlebot esegue la scansione con indirizzi IP al di fuori degli USA, oltre che con indirizzi IP degli Stati Uniti.
Come consigliamo sempre, quando Googlebot sembra provenire da un determinato Paese dovresti considerarlo come qualsiasi altro utente dello stesso Paese. Ciò significa che, se vieti l'accesso ai tuoi contenuti agli utenti degli Stati Uniti ma ne consenti la visualizzazione ai visitatori dell'Australia, il tuo server dovrebbe bloccare un Googlebot che sembra provenire dagli USA, ma consentire l'accesso a un Googlebot che sembra provenire dall'Australia.
Altre considerazioni
- Googlebot utilizza la stessa stringa user-agent per tutte le configurazioni di scansione. Leggi ulteriori informazioni sulle stringhe user-agent utilizzate dai crawler di Google nel nostro Centro assistenza.
- Puoi verificare le scansioni con distribuzione geografica di Googlebot utilizzando ricerche DNS inverse.
- Assicurati che il tuo sito applichi in modo uniforme il protocollo di esclusione robot per ogni lingua. Ciò significa che nei
metatag dei robot e nel filerobots.txtdevono essere specificate le stesse istruzioni in ogni lingua.