Robots.txt dosyasına giriş

Robots.txt dosyası, arama motoru tarayıcılarına sitenizdeki hangi URL'lere erişebileceklerini bildirir. Bu yöntem çoğunlukla isteklerin sitenizde yoğunluğa yol açmasını engellemek için kullanılır; web sayfalarını Google'ın dışında tutmak için kullanılabilecek bir mekanizma değildir. Bir web sayfasını Google'ın dışında tutmak için noindex ile dizine eklemeyi engelleyin veya sayfayı şifre korumalı yapın.

Robots.txt dosyası ne için kullanılır?

Robots.txt dosyası, esas olarak sitenizin tarayıcı trafiğini yönetmek, genellikle de bir dosyayı Google'ın dışında tutmak için kullanılır. Robots.txt dosyasının ne için kullanılacağı dosya türüne bağlıdır:

Robots.txt dosyasının farklı dosya türleri üzerindeki etkisi
Web sayfası

Google'ın tarayıcısından gelen isteklerin sunucunuzda yoğunluğa yol açacağını düşündüğünüz durumlarda tarama trafiğini yönetmek veya sitenizdeki önemsiz ya da birbirine benzer sayfaların taranmasını önlemek için web sayfalarında (HTML, PDF veya Google'ın okuyabildiği diğer medya dışı biçimler) robots.txt dosyası kullanabilirsiniz.

Web sayfanız robots.txt dosyasıyla engellense de sayfa URL'si arama sonuçlarında görünebilir ancak arama sonucunda açıklama olmaz. Resim dosyaları, video dosyaları, PDF'ler ve HTML olmayan diğer dosyalar gösterilmez. Sayfanız için bu arama sonucunu görüp düzeltmek istiyorsanız sayfayı engelleyen robots.txt girişini kaldırın. Sayfayı arama sonuçlarından tamamen gizlemek istiyorsanız başka bir yöntem kullanın.

Medya dosyası

Tarama trafiğini yönetmek ve resim, video, ses dosyalarının Google arama sonuçlarında görünmesini engellemek için robots.txt dosyasını kullanın. Bu yöntem, diğer sayfaların veya kullanıcıların resim/video/ses dosyanıza bağlantı vermesini engellemez.

Kaynak dosyası Önemli olmayan resim, komut dosyası veya stil dosyaları gibi kaynakları engellemek için robots.txt dosyası kullanabilirsiniz. Bu yöntemi, engellenen kaynaklar olmadan yüklenen sayfaların bu kayıptan önemli ölçüde etkilenmeyeceğini düşünüyorsanız uygulayın. Ancak bu kaynakların eksikliği, Google tarayıcısının sayfayı anlamasını zorlaştıracaksa bunları engellemeyin. Aksi halde Google, bu kaynaklara dayanan sayfaları iyi bir şekilde analiz edemez.

Robots.txt dosyası ile ilgili sınırlamaları anlama

Robots.txt dosyası oluşturmadan veya düzenlemeden önce bu URL engelleme yönteminin sınırlarını bilmelisiniz. Hedeflerinize ve durumunuza bağlı olarak, URL'lerinizin web aramalarında görünmesini önlemek için başka mekanizmaları değerlendirmeniz faydalı olabilir.

  • Robots.txt yönergeleri tüm arama motorları tarafından desteklenmiyor olabilir.
    Robots.txt dosyalarındaki talimatlar, sitenizi tarayıcı gibi davranmaya zorlayamaz; bu talimatlara uymak tarayıcının görevidir. Googlebot ve diğer güvenilir web tarayıcıları bir robots.txt dosyasındaki talimatlara uysalar da diğer tarayıcılar uymayabilir. Bu nedenle, bilgileri web tarayıcılarının erişemeyeceği şekilde güvende tutmak istiyorsanız sunucunuzdaki gizli dosyaları şifreyle koruma gibi farklı engelleme yöntemlerini kullanmanız önerilir.
  • Farklı tarayıcılar söz dizimini farklı yorumlayabilir.
    Tanınmış web tarayıcıları bir robots.txt dosyasındaki yönergeleri uygulasalar da her bir tarayıcı, yönergeleri farklı şekilde yorumlayabilir. Bazıları belirli talimatları anlayamayabileceğinden, farklı web tarayıcılara hitap etmek üzere doğru söz dizimini bilmeniz gerekir.
  • Diğer sitelerden bağlantı veriliyorsa robots.txt dosyasında izin verilmeyen bir sayfa dizine eklenebilir.
    Google, robots.txt tarafından engellenen içeriği taramayacak veya dizine eklemeyecek olsa da, izin verilmeyen bir URL'ye web üzerinde başka bir yerde bağlantı verildiyse, bu URL'yi bulup dizine ekleyebiliriz. Bunun sonucunda, URL adresi ve muhtemelen sayfaya verilen bağlantılardaki metinler gibi genel kullanıma açık diğer bilgiler Google arama sonuçlarında görünmeye devam edebilir. URL'nizin Google arama sonuçlarında görünmesini tam anlamıyla engellemek için sunucunuzdaki dosyaları şifreyle koruyun, noindex meta etiketi ya da yanıt başlığı kullanın veya sayfayı tamamen kaldırın.

Robots.txt dosyası oluşturma

Bir robots.txt dosyasına ihtiyacınız olduğuna karar verdiyseniz nasıl robots.txt dosyası oluşturacağınızı öğrenin.