Men-debug error jaringan dan DNS untuk crawler Google

Error jaringan dan DNS langsung berdampak negatif terhadap kemampuan Google untuk berhasil meng-crawl URL. Google memperlakukan error waktu tunggu jaringan, reset koneksi, dan DNS mirip seperti error server 5xx. Dalam kasus error jaringan, crawling akan segera mulai melambat karena error jaringan merupakan tanda bahwa server mungkin tidak dapat menangani beban penayangan. Karena Google tidak dapat menjangkau server yang menghosting situs, Google juga belum menerima konten apa pun dari server tersebut.

Bagi Google Penelusuran, kurangnya konten berarti Google tidak dapat mengindeks URL yang di-crawl, dan URL yang sudah diindeks yang tidak dapat dijangkau akan dihapus dari indeks Google dalam beberapa hari. Setiap error tersebut dapat menyebabkan Search Console mengalami masalah.

Men-debug error jaringan

Error jaringan terjadi sebelum Google mulai meng-crawl URL atau pada saat Google meng-crawl URL. Karena error dapat terjadi sebelum server dapat merespons sehingga tidak ada kode status yang memberitahukan adanya masalah, error jaringan semacam ini dapat lebih sulit untuk didiagnosis. Untuk men-debug error waktu tunggu dan reset koneksi:

Periksa setelan firewall dan log Anda. Mungkin ada sekumpulan aturan pemblokiran yang terlalu luas. Pastikan alamat IP Google tidak diblokir oleh aturan firewall apa pun.
Periksa traffic jaringan Anda. Gunakan alat seperti tcpdump dan Wireshark untuk menangkap serta menganalisis paket TCP, lalu cari anomali yang mengarah ke modul server atau komponen jaringan tertentu.
Jika tidak menemukan sesuatu yang mencurigakan, hubungi perusahaan hosting Anda.

Error mungkin terjadi pada komponen server yang menangani traffic jaringan. Misalnya, antarmuka jaringan yang kelebihan beban dapat melepas paket yang menyebabkan waktu tunggu (ketidakmampuan untuk membuat koneksi) dan mereset koneksi (paket RST dikirim karena sebuah port keliru ditutup).

Mendebug error DNS

Error DNS paling sering disebabkan oleh kesalahan konfigurasi, tetapi juga dapat disebabkan oleh aturan firewall yang memblokir kueri DNS Google. Untuk mendebug error DNS, lakukan hal-hal berikut:

Periksa aturan firewall Anda. Pastikan tidak ada IP Google yang diblokir oleh aturan firewall, serta permintaan UDP dan TCP diizinkan.
Lihat data DNS Anda. Periksa kembali apakah kumpulan data A dan CNAME Anda sudah mengarah ke alamat IP dan nama host yang benar. Contoh:
```
dig +nocmd example.com a +noall +answer
```
```
dig +nocmd www.example.com cname +noall +answer
```

Pastikan bahwa semua server nama Anda mengarah ke alamat IP situs yang benar. Contoh:

dig +nocmd example.com ns +noall +answer
example.com.    86400  IN  NS  a.iana-servers.net.
example.com.    86400  IN  NS  b.iana-servers.net.
dig +nocmd @a.iana-servers.net example.com +noall +answer
example.com.    86400  IN  A  93.184.216.34
dig +nocmd @b.iana-servers.net example.com +noall +answer
...

Jika Anda telah melakukan perubahan pada konfigurasi DNS dalam 72 jam terakhir, Anda mungkin harus menunggu sampai perubahan diterapkan di seluruh jaringan DNS global. Untuk mempercepat penerapan, Anda dapat menghapus cache DNS Publik Google.
Jika Anda menjalankan server DNS sendiri, pastikan server tersebut tidak bermasalah dan tidak kelebihan beban.