Caso seu site tenha páginas adaptáveis à localidade, ou seja, retorne conteúdo diferente com base no país detectado ou no idioma preferido do visitante, talvez o Google não consiga rastrear, indexar nem classificar todo o conteúdo para diferentes localidades. Isso ocorre porque os endereços IP padrão do rastreador do Googlebot parecem ser dos Estados Unidos. Além disso, o rastreador envia solicitações HTTP sem definir Accept-Language no cabeçalho da solicitação.
Rastreamento distribuído por local geográfico
Além de endereços IP dos EUA, o Googlebot também usa endereços estrangeiros para fazer rastreamentos.
Quando o Googlebot aparentemente for de um determinado país, como sempre, recomendamos que você lide com ele da mesma forma que faria com qualquer usuário desse país. Isso significa que se você bloquear o acesso de usuários residentes dos Estados Unidos, mas permitir que visitantes da Austrália vejam o conteúdo, seu servidor deverá bloquear um Googlebot que aparente ser dos Estados Unidos, mas permitir o acesso a outro que pareça vir da Austrália.
Outras considerações
- O Googlebot usa a mesma string de user agent para todas as configurações de rastreamento. Saiba mais sobre as strings de user agent usadas pelos rastreadores do Google na nossa Central de Ajuda.
- É possível verificar os rastreamentos distribuídos por local geográfico do Googlebot usando buscas DNS reversas.
- O site precisa aplicar o protocolo de exclusão de robôs de maneira consistente em todas as localidades. Isso significa que as tags
metade robôs e o arquivorobots.txtprecisam especificar as mesmas diretivas em cada uma das localidades.