Memperbarui file robots.txt

Untuk memperbarui aturan di file robots.txt yang sudah ada, download salinan file robots.txt Anda dari situs Anda dan lakukan pengeditan yang diperlukan.

Mendownload file robots.txt

Anda dapat mendownload file robots.txt melalui berbagai cara, misalnya:

  • Buka file robots.txt, misalnya https://example.com/robots.txt dan salin isinya untuk ditempelkan ke file teks baru di komputer. Pastikan Anda mengikuti panduan terkait format file saat membuat file lokal baru.
  • Download salinan asli file robots.txt dengan alat seperti cURL. Misalnya:
    curl https://example.com/robots.txt -o robots.txt
  • Gunakan Penguji robots.txt di Search Console untuk mendownload salinan file robots.txt.
    1. Klik Kirim di pojok kanan bawah editor robots.txt. Tindakan ini akan membuka dialog Kirim.
    2. Download kode robots.txt dari halaman Penguji robots.txt dengan mengklik Download di dialog Kirim.

Mengedit file robots.txt

Buka file robots.txt, yang sudah Anda download dari situs, di editor teks dan lakukan pengeditan yang diperlukan pada aturan. Pastikan Anda menggunakan sintaksis yang tepat dan juga menyimpan file dengan encoding UTF-8.

Mengupload file robots.txt

Upload file robots.txt baru ke root domain Anda sebagai file teks yang bernama robots.txt. Cara Anda mengupload file ke situs Anda sangat bergantung pada server dan platform. Baca tips dari kami untuk mendapatkan bantuan terkait mengupload file robots.txt ke situs.

Memuat ulang cache robots.txt Google

Selama proses crawling otomatis, crawler Google mengetahui perubahan yang Anda lakukan pada file robots.txt dan memperbarui versi yang di-cache setiap 24 jam. Jika harus memperbarui cache lebih cepat, gunakan fungsi Kirim Penguji robots.txt.

  1. Klik Lihat versi yang diupload untuk melihat apakah robots.txt yang aktif adalah versi yang ingin di-crawl oleh Google.
  2. Klik Kirim untuk memberi tahu Google bahwa perubahan telah dilakukan pada file robots.txt dan meminta Google melakukan crawling.
  3. Periksa apakah versi terbaru berhasil di-crawl oleh Google dengan memuat ulang halaman di browser guna memperbarui editor alat dan melihat kode robots.txt yang aktif. Setelah memuat ulang halaman, Anda juga dapat mengklik dropdown di atas editor teks untuk melihat stempel waktu saat Google pertama kali melihat versi terbaru file robots.txt Anda.