Verificação do Googlebot

Verifique se um rastreador da Web que acessa seu servidor é realmente o Googlebot ou outro user agent do Google. Isso será útil se você tiver preocupações com criadores de spam ou outros causadores de problemas que aleguem ser o Googlebot acessando seu site. O Google não posta uma lista pública de endereços IP para que os proprietários de sites possam incluir em uma lista de permissões. O motivo é que os intervalos desses endereços IP podem mudar, o que resulta em problemas para os proprietários de sites que os tiverem codificado. Portanto, é preciso executar uma busca DNS conforme descrito a seguir.

Para verificar se o Googlebot é o rastreador, faça o seguinte:

  1. Execute uma busca DNS reversa no endereço IP de acesso dos seus registros. Para isso, use o comando host.
  2. Verifique se o nome do domínio é googlebot.com ou google.com.
  3. Execute uma busca DNS direta no nome de domínio recuperado na primeira etapa. Para isso, use o comando host no nome de domínio recuperado. Verifique se é o mesmo endereço IP de acesso original dos seus registros.

Exemplo 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Exemplo 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77