Depurar erros de rede e de DNS para os rastreadores do Google

Erros de rede e de DNS têm efeitos negativos e rápidos na capacidade do Google de rastrear um URL. O Google trata tempos limites de rede, a redefinição de conexão e os erros de DNS de maneira semelhante aos erros de servidor 5xx. No caso de erros de rede, o rastreamento começa a diminuir a velocidade imediatamente, porque isso indica que o servidor não consegue processar a carga de serviço. Como o Google não conseguiu acessar o servidor que hospeda o site, o conteúdo também não foi recebido.

Quanto à Pesquisa, a falta de conteúdo significa que o Google não consegue indexar os URLs rastreados, e os URLs indexados inacessíveis serão removidos do índice do Google em alguns dias. O Search Console pode gerar erros para cada erro correspondente.

Depurar erros de rede

Esses erros ocorrem antes que o Google comece a rastrear um URL ou durante o processo. Como os erros podem ocorrer antes que o servidor responda e não há um código de status que possa indicar problemas, o diagnóstico deles pode ser um desafio. Para depurar erros de tempo limite e de redefinição de conexão, faça o seguinte:

Analise as configurações e os registros de firewall. Pode haver uma regra de bloqueio excessivamente abrangente definida. Verifique se os endereços IP do Googlebot não estão bloqueados por nenhuma regra de firewall.
Analise o tráfego de rede. Use ferramentas como tcpdump e Wireshark para capturar e analisar pacotes TCP e procurar por anomalias que apontem para um componente de rede ou módulo de servidor específico.
Caso você não encontre nada suspeito, entre em contato com seu provedor de hospedagem.

O erro pode estar em qualquer componente do servidor que processe o tráfego de rede. Por exemplo, interfaces de rede sobrecarregadas podem descartar pacotes que levam a tempos limite (incapacidade de estabelecer uma conexão) e redefinir conexões (pacote RST enviado porque uma porta foi encerrada por engano).

Depurar erros de DNS

Os erros de DNS geralmente ocorrem devido à configuração incorreta, mas eles também podem ser causados por uma regra de firewall que bloqueia as consultas DNS do Google. Para depurar erros de DNS, faça o seguinte:

Inspecione as regras de firewall. Confira se nenhum dos IPs do Google está bloqueado por uma regra de firewall e se as solicitações UDP e TCP são permitidas.
Analise os registros DNS. Confira se os registros A e CNAME apontam aos endereços IP e nome do host corretos, respectivamente. Exemplo:
```
dig +nocmd example.com a +noall +answer
```
```
dig +nocmd www.example.com cname +noall +answer
```

Confira se todos os servidores de nomes estão apontando para os endereços IP corretos do site. Exemplo:

dig +nocmd example.com ns +noall +answer
example.com.    86400  IN  NS  a.iana-servers.net.
example.com.    86400  IN  NS  b.iana-servers.net.
dig +nocmd @a.iana-servers.net example.com +noall +answer
example.com.    86400  IN  A  93.184.216.34
dig +nocmd @b.iana-servers.net example.com +noall +answer
...

Caso você tenha feito mudanças na configuração de DNS nas últimas 72 horas, talvez seja necessário aguardar para que as alterações se propaguem pela rede DNS global. Para acelerar o processo, limpe o cache do DNS público do Google.
Caso você execute seu próprio servidor DNS, confirme se ele está íntegro e se não está sobrecarregado.