Memperbarui file robots.txt

Jika menggunakan layanan hosting situs, seperti Wix atau Blogger, Anda mungkin tidak perlu (atau dapat) mengedit file robots.txt secara langsung. Sebaliknya, penyedia layanan mungkin mengekspos halaman setelan penelusuran atau beberapa mekanisme lain untuk memberi tahu mesin telusur agar meng-crawl halaman atau tidak.

Jika ingin menyembunyikan atau memperlihatkan salah satu halaman Anda dari mesin telusur, telusuri petunjuk tentang mengubah visibilitas halaman di mesin telusur di layanan hosting Anda, misalnya, telusuri "cara wix menyembunyikan halaman dari mesin telusur".

Untuk memperbarui aturan di file robots.txt yang sudah ada, download salinan file robots.txt dari situs Anda dan lakukan pengeditan yang diperlukan.

Mendownload file robots.txt

Anda dapat mendownload file robots.txt melalui berbagai cara, misalnya:

• Buka file robots.txt, misalnya https://example.com/robots.txt dan salin isinya untuk ditempelkan ke file teks baru di komputer. Pastikan Anda mengikuti panduan terkait format file saat membuat file lokal baru.
• Download salinan asli file robots.txt dengan alat seperti cURL. Misalnya:

  curl https://example.com/robots.txt -o robots.txt

• Gunakan Penguji robots.txt di Search Console untuk mendownload salinan file robots.txt.
  1. Klik Kirim di pojok kanan bawah editor robots.txt. Tindakan ini akan membuka dialog Kirim.
  2. Download kode robots.txt dari halaman Penguji robots.txt dengan mengklik Download di dialog Kirim.

Mengedit file robots.txt

Buka file robots.txt, yang sudah Anda download dari situs, di editor teks dan lakukan pengeditan yang diperlukan pada aturan. Pastikan Anda menggunakan sintaksis yang tepat dan juga menyimpan file dengan encoding UTF-8.

Mengupload file robots.txt

Upload file robots.txt baru ke root domain Anda sebagai file teks yang bernama robots.txt. Cara Anda mengupload file ke situs Anda sangat bergantung pada server dan platform. Baca tips dari kami untuk mendapatkan bantuan terkait mengupload file robots.txt ke situs.

Jika Anda tidak memiliki izin mengupload file ke root domain, hubungi pengelola domain untuk melakukan perubahan.

Misalnya, jika halaman beranda situs Anda berada di bawah subdomain.example.com/site/example/, Anda mungkin tidak dapat memperbarui file robots.txt di subdomain.example.com/robots.txt. Untuk hal ini, hubungi pemilik example.com/ guna melakukan perubahan yang diperlukan untuk file robots.txt.

Memuat ulang cache robots.txt Google

Selama proses crawling otomatis, crawler Google mengetahui perubahan yang Anda lakukan pada file robots.txt dan memperbarui versi yang di-cache setiap 24 jam. Jika harus memperbarui cache lebih cepat, gunakan fungsi Kirim Penguji robots.txt.

1. Klik Lihat versi yang diupload untuk melihat apakah robots.txt yang aktif adalah versi yang ingin di-crawl oleh Google.
2. Klik Kirim untuk memberi tahu Google bahwa perubahan telah dilakukan pada file robots.txt dan meminta Google melakukan crawling.
3. Periksa apakah versi terbaru berhasil di-crawl oleh Google dengan memuat ulang halaman di browser guna memperbarui editor alat dan melihat kode robots.txt yang aktif. Setelah memuat ulang halaman, Anda juga dapat mengklik dropdown untuk melihat stempel waktu saat Google pertama kali melihat versi terbaru file robots.txt Anda.