Robots.txt dosyanızı güncelleme

Mevcut robots.txt dosyanızdaki kuralları güncellemek için sitenizden robots.txt dosyanızın bir kopyasını indirip gerekli düzenlemeleri yapın.

Robots.txt dosyanızı indirme

Robots.txt dosyanızı çeşitli şekillerde indirebilirsiniz. Örneğin:

  • Robots.txt dosyanıza gidip (örneğin, https://example.com/robots.txt) içeriğini bilgisayarınızda yeni bir metin dosyasına kopyalayın. Yeni yerel dosyayı oluştururken dosya biçimi ile ilgili kurallara uyduğunuzdan emin olun.
  • cURL gibi bir araç kullanarak robots.txt dosyanızın bir kopyasını indirin. Örneğin:
    curl https://example.com/robots.txt -o robots.txt
  • Search Console'daki robots.txt Test Aracı'nı kullanarak robots.txt dosyanızın bir kopyasını indirin.
    1. Robots.txt düzenleyicinin sağ alt köşesindeki Gönder'i tıklayın. Bu işlem bir Gönder iletişim kutusu açar.
    2. Robots.txt kodunuzu, robots.txt Test Aracı sayfasında Gönder iletişim kutusundaki İndir'i tıklayarak indirin.

Robots.txt dosyanızı düzenleme

Sitenizden indirdiğiniz robots.txt dosyasını bir metin düzenleyiciyle açıp kurallarda gerekli değişiklikleri yapın. Doğru söz dizimini kullandığınızdan ve dosyayı UTF-8 kodlamasıyla kaydettiğinizden emin olun.

Robots.txt dosyanızı yükleme

Yeni robots.txt dosyanızı alanınızın kök dizinine robots.txt adlı bir metin dosyası olarak yükleyin. Sitenize dosya yüklemenin yolu büyük ölçüde platforma ve sunucuya bağlıdır. Sitenize robots.txt dosyası yükleme hakkında yardım almak için ipuçlarımıza göz atın.

Google'ın robots.txt önbelleğini yenileme

Otomatik tarama sürecinde Google'ın tarayıcıları, robots.txt dosyanızda yaptığınız değişiklikleri tespit eder ve önbelleğe alınan sürümü 24 saatte bir günceller. Önbelleği daha hızlı güncellemeniz gerekirse robots.txt Test Aracı'nın Gönder işlevini kullanın.

  1. Yayındaki robots.txt dosyanızın Google'ın taramasını istediğiniz sürüm olduğundan emin olmak için Yüklenen sürümü görüntüle'yi tıklayın.
  2. Google'ı robots.txt dosyanızda yapılan değişiklikler konusunda bilgilendirmek ve Google'dan dosyayı taramasını istemek için Gönder'i tıklayın.
  3. Son sürümünüzün Google tarafından başarılı bir şekilde taranıp taranmadığını kontrol etmek için tarayıcınızda sayfayı yenileyerek araç düzenleyiciyi güncelleyip yayındaki robots.txt kodunuzu görebilirsiniz. Sayfayı yeniledikten sonra, Google'ın robots.txt dosyanızın son sürümünü ilk olarak gördüğü zamana ait zaman damgasını görüntülemek için açılır listeyi de tıklayabilirsiniz.