Como verificar o Googlebot e outros rastreadores do Google

É possível verificar se um rastreador da Web que acessa seu servidor realmente é um rastreador do Google, como o Googlebot. Isso é útil caso você se preocupe que criadores de spam ou outros invasores que alegam ser o Googlebot acessem seu site.

Há dois métodos para verificar os rastreadores do Google:

  • Manual: para buscas únicas, use ferramentas de linha de comando. Esse método é suficiente para a maioria dos casos de uso.
  • Automático: para buscas em grande escala, use uma solução automática para verificar se o endereço IP do rastreador é o mesmo da lista de endereços IP publicados do Googlebot.

Usar ferramentas de linha de comando

  1. Execute uma busca DNS reversa no endereço IP de acesso dos seus registros. Para isso, use o comando host.
  2. Verifique se o nome do domínio é googlebot.com ou google.com.
  3. Execute uma busca DNS direta no nome de domínio recuperado na primeira etapa. Para isso, use o comando host no nome de domínio recuperado.
  4. Verifique se é o mesmo endereço IP de acesso original dos seus registros.

Exemplo 1:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Exemplo 2:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Usar soluções automáticas

Como alternativa, você pode identificar o Googlebot por endereço IP ao verificar se ele é o mesmo da lista de endereços IP do Googlebot. Para outros endereços IP do Google de onde o site pode ser acessado (por exemplo, por solicitação do usuário ou Apps Scripts), faça a correspondência entre o endereço IP e o lista de endereços IP do Google.