Verifique se um rastreador da Web que acessa seu servidor é realmente o Googlebot ou outro user agent do Google. Isso será útil se você tiver preocupações com criadores de spam ou outros causadores de problemas que aleguem ser o Googlebot acessando seu site. O Google não posta uma lista pública de endereços IP para que os proprietários de sites possam incluir em uma lista de permissões. O motivo é que os intervalos desses endereços IP podem mudar, o que resulta em problemas para os proprietários de sites que os tiverem codificado. Portanto, é preciso executar uma busca DNS conforme descrito a seguir.
Para verificar se o Googlebot é o autor da chamada, faça o seguinte:
- Execute uma busca DNS reversa no endereço IP de acesso dos seus registros. Para isso,
use o comando
host. - Verifique se o nome do domínio é
googlebot.comougoogle.com. - Execute uma busca DNS direta no nome de domínio recuperado na primeira etapa. Para isso,
use o comando
hostno nome de domínio recuperado. Verifique se é o mesmo endereço IP de acesso original dos seus registros.
Exemplo 1:
> host 66.249.66.1 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com. > host crawl-66-249-66-1.googlebot.com crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Exemplo 2:
> host 66.249.90.77 77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com. > host rate-limited-proxy-66-249-90-77.google.com rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77