Robots.txt dosyanızı güncelleyin

Wix veya Blogger gibi bir site barındırma hizmeti kullanıyorsanız robots.txt dosyanızı doğrudan düzenlemeniz gerekmeyebilir (veya mümkün olmayabilir). Bunun yerine, sağlayıcınız arama motorlarına sayfanızın taranıp taranmayacağını söylemek için arama ayarları sayfası veya başka bir mekanizma kullanabilir.

Sayfalarınızdan birini arama motorlarından gizlemek veya arama motorlarına görünür hale getirmek için sitenizin barındırma hizmetinde sayfanızın arama motorlarındaki görünürlüğünü değiştirme ile ilgili talimatları arayın (ör. "wix arama motorlarından sayfa gizleme").

Mevcut robots.txt dosyanızdaki kuralları güncellemek için sitenizden robots.txt dosyanızın bir kopyasını indirip gerekli düzenlemeleri yapın.

Robots.txt dosyanızı indirme

Robots.txt dosyanızı çeşitli şekillerde indirebilirsiniz. Örneğin:

• Robots.txt dosyanıza gidip (örneğin, https://example.com/robots.txt) içeriğini bilgisayarınızda yeni bir metin dosyasına kopyalayın. Yeni yerel dosyayı oluştururken dosya biçimi ile ilgili kurallara uyduğunuzdan emin olun.
• cURL gibi bir araç kullanarak robots.txt dosyanızın bir kopyasını indirin. Örneğin:

  curl https://example.com/robots.txt -o robots.txt

• Search Console'daki robots.txt Test Aracı'nı kullanarak robots.txt dosyanızın bir kopyasını indirin.
  1. Robots.txt düzenleyicinin sağ alt köşesindeki Gönder'i tıklayın. Bu işlem bir Gönder iletişim kutusu açar.
  2. Robots.txt kodunuzu, robots.txt Test Aracı sayfasında Gönder iletişim kutusundaki İndir'i tıklayarak indirin.

Robots.txt dosyanızı düzenleme

Sitenizden indirdiğiniz robots.txt dosyasını bir metin düzenleyiciyle açıp kurallarda gerekli değişiklikleri yapın. Doğru söz dizimini kullandığınızdan ve dosyayı UTF-8 kodlamasıyla kaydettiğinizden emin olun.

Robots.txt dosyanızı yükleme

Yeni robots.txt dosyanızı alanınızın kök dizinine robots.txt adlı bir metin dosyası olarak yükleyin. Sitenize dosya yüklemenin yolu büyük ölçüde platforma ve sunucuya bağlıdır. Sitenize robots.txt dosyası yükleme hakkında yardım almak için ipuçlarımıza göz atın.

Alanınızın kök dizinine dosya yükleme izniniz yoksa değişiklik yapmak için alan adı yöneticinizle iletişime geçin.

Örneğin, sitenizin ana sayfası subdomain.example.com/site/example/ altındaysa muhtemelen subdomain.example.com/robots.txt adresindeki robots.txt dosyasını güncelleyemezsiniz. Bu durumda, robots.txt dosyasında gerekli değişiklikleri yapmak için example.com/ sitesinin sahibiyle iletişime geçin.

Google'ın robots.txt önbelleğini yenileme

Otomatik tarama sürecinde Google'ın tarayıcıları, robots.txt dosyanızda yaptığınız değişiklikleri tespit eder ve önbelleğe alınan sürümü 24 saatte bir günceller. Önbelleği daha hızlı güncellemeniz gerekirse robots.txt Test Aracı'nın Gönder işlevini kullanın.

1. Yayındaki robots.txt dosyanızın Google'ın taramasını istediğiniz sürüm olduğundan emin olmak için Yüklenen sürümü görüntüle'yi tıklayın.
2. Google'ı robots.txt dosyanızda yapılan değişiklikler konusunda bilgilendirmek ve Google'dan dosyayı taramasını istemek için Gönder'i tıklayın.
3. Son sürümünüzün Google tarafından başarılı bir şekilde taranıp taranmadığını kontrol etmek için tarayıcınızda sayfayı yenileyerek araç düzenleyiciyi güncelleyip yayındaki robots.txt kodunuzu görebilirsiniz. Sayfayı yeniledikten sonra, Google'ın robots.txt dosyanızın son sürümünü ilk olarak gördüğü zamana ait zaman damgasını görüntülemek için açılır listeyi de tıklayabilirsiniz.