Como verificar o Googlebot e outros rastreadores do Google
É possível verificar se um rastreador da Web que acessa seu servidor realmente é um rastreador do Google, como o Googlebot. Isso é útil caso você se preocupe que criadores de spam ou outros invasores que alegam ser o Googlebot acessem seu site.
Há dois métodos para verificar os rastreadores do Google:
- Manual: para buscas únicas, use ferramentas de linha de comando. Esse método é suficiente para a maioria dos casos de uso.
- Automático: para buscas em grande escala, use uma solução automática para verificar se o endereço IP do rastreador é o mesmo da lista de endereços IP publicados do Googlebot.
Usar ferramentas de linha de comando
-
Execute uma busca DNS reversa no endereço IP de acesso dos seus registros. Para isso,
use o comando
host
. -
Verifique se o nome do domínio é
googlebot.com
ougoogle.com
. -
Execute uma busca DNS direta no nome de domínio recuperado na primeira etapa. Para isso,
use o comando
host
no nome de domínio recuperado. - Verifique se é o mesmo endereço IP de acesso original dos seus registros.
Exemplo 1:
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Exemplo 2:
host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240
Exemplo 3:
host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77
Usar soluções automáticas
Como alternativa, você pode identificar o Googlebot por endereço IP ao verificar se ele é o mesmo da lista de endereços IP do Googlebot. Para outros endereços IP do Google de onde o site pode ser acessado (por exemplo, por solicitação do usuário ou Apps Scripts), faça a correspondência entre o endereço IP de acesso e a lista de endereços IP do Google. Os endereços IP nos arquivos JSON são representados no formato CIDR.