Robots Hakkında SSS

Robots hakkında genel sorular

Web sitemin bir robots.txt dosyasına ihtiyacı var mı?

Hayır. Googlebot bir web sitesini ziyaret ettiğinde, ilk olarak robots.txt dosyasını almayı deneyerek tarama izni isteriz. Robots.txt dosyası, robots meta etiketleri veya X-Robots-Tag HTTP üstbilgileri bulunmayan bir web sitesi genellikle normal bir şekilde taranıp dizine eklenir.

Tarayıcıları engellemek için hangi yöntemi kullanmalıyım?

Duruma bağlı. Kısaca söylemek gerekirse, aşağıdaki yöntemlerin her birinin kendine göre iyi bir kullanım amacı bulunmaktadır:

  • robots.txt: İçeriğinizin taranması sunucunuzda sorunlara neden oluyorsa bunu kullanın. Örneğin, sonsuz takvim komut dosyalarının taranmasına izin vermemek isteyebilirsiniz. Gizli içeriği engellemek (bunun yerine, sunucu tarafı kimlik doğrulaması kullanın) veya standartlaştırmayı işlemek için robots.txt dosyasını kullanmayın. URL'nin dizine eklenmediğinden emin olmak için bunun yerine, robots meta etiketini veya X-Robots-Tag HTTP üstbilgisini kullanın.
  • robots metaetiketi: Belirli bir HTML sayfasının arama sonuçlarında nasıl gösterileceğini kontrol etmeniz (veya gösterilmediğinden emin olmanız) gerekiyorsa bunu kullanın.
  • X-Robots-Tag HTTP üstbilgisi: İçeriklerin arama sonuçlarında nasıl gösterileceğini kontrol etmeniz (veya gösterilmediğinden emin olmanız) gerekiyorsa bunu kullanın.

robots meta etiketi veya X-Robots-Tag HTTP üstbilgisi kullanarak başka bir kişinin sitesini arama sonuçlarından kaldırabilir miyim?

Hayır. Bu yöntemler yalnızca kodunu değiştirebileceğiniz veya dosya ekleyebileceğiniz siteler için geçerlidir. Bilgileri Google'dan kaldırma hakkında daha fazla bilgi edinin.

Google'ın web sitemi taramasını nasıl yavaşlatabilirim?

Genellikle tarama hızı ayarını Google Search Console hesabınızdan düzenleyebilirsiniz.

Robots.txt soruları

Birden çok web sitesi için aynı robots.txt dosyasını kullanıyorum. Göreli yol yerine tam URL'yi kullanabilir miyim?

Hayır. Robots.txt dosyasındaki kurallar (sitemap: hariç) yalnızca göreli yollar için geçerlidir.

Robots.txt dosyasını bir alt dizine yerleştirebilir miyim?

Hayır. Dosya, web sitesinin en üst düzey dizinine yerleştirilmelidir.

Gizli bir klasörü engellemek istiyorum. Başka kişilerin robots.txt dosyamı okumasını engelleyebilir miyim?

Hayır. Robots.txt dosyası çeşitli kullanıcılar tarafından okunabilir. İçerik klasörleri veya dosya adları herkese açık değilse bunları robots.txt dosyasında listelemeyin. Kullanıcı aracısına veya diğer özelliklere göre farklı robots.txt dosyalarının sunulması önerilmez.

Taramaya izin vermek için allow kuralını eklemem gerekir mi?

Hayır, allow kuralını eklemenize gerek yoktur. Aksi yönde kural belirtilmediği sürece tüm URL'lerin taranmasına izin verilir. allow kuralı, aynı robots.txt dosyasındaki disallow kurallarını geçersiz kılmak için kullanılır.

Robots.txt dosyamda bir hata veya desteklenmeyen bir kural varsa ne olur?

Web tarayıcıları genellikle çok esnek olup robots.txt dosyasındaki küçük hatalardan etkilenmez. Genellikle olabilecek en kötü şey, yanlış veya desteklenmeyen kuralların yoksayılmasıdır. Ancak Google'ın, bir robots.txt dosyasını yorumlarken zihin okuyamayacağını unutmayın. Aldığımız robots.txt dosyasını yorumlamamız gerekir. Bununla birlikte, robots.txt dosyanızdaki sorunların farkındaysanız genelde bunları kolayca düzeltebilirsiniz.

Bir robots.txt dosyası oluşturmak için hangi programı kullanmalıyım?

Geçerli bir metin dosyası oluşturan her şeyi kullanabilirsiniz. Robots.txt dosyalarını oluşturmak için yaygın olarak kullanılan programlar, Not Defteri, TextEdit, vi veya emacs'dir. Robots.txt dosyası oluşturma hakkında daha fazla bilgi edinin. Dosyanızı oluşturduktan sonra robots.txt Test Aracı'nı kullanarak doğrulayın.

Robots.txt disallow kuralını kullanarak Google'ın bir sayfayı taramasını engellersem bu sayfa arama sonuçlarından kaybolur mu?

Google'ın bir sayfayı taramasının engellenmesi, muhtemelen söz konusu sayfayı Google'ın dizininden kaldırır.

Bununla birlikte, robots.txt disallow yönergesini kullanmak, bir sayfanın sonuçlarda görünmeyeceğini garanti etmez. Google, gelen bağlantılar gibi harici bilgilere dayanarak sayfanın alakalı olduğuna karar verip URL'yi sonuçlarda gösterebilir. Bir sayfanın dizine eklenmesini açık bir şekilde engellemek istiyorsanız noindex robots meta etiketini veya X-Robots-Tag HTTP üstbilgisini kullanın. Bu durumda, etiketin görülmesi ve buna uyulması için sayfanın taranması gerektiğinden sayfayı robots.txt dosyasında engellemeyin. Google ile paylaştıklarınızı nasıl kontrol edeceğinizi öğrenin.

Robots.txt dosyasındaki değişikliklerin arama sonuçlarımı etkilemesi ne kadar sürer?

Öncelikle, robots.txt dosyasının önbelleği yenilenmelidir (genellikle içeriği en çok bir günlüğüne önbelleğe alırız). Güncellenen robots.txt dosyanızı Google'a göndererek bu süreci hızlandırabilirsiniz. Değişikliği bulduktan sonra bile, her bir URL için gerçekleştirilen tarama ve dizine ekleme işlemleri, bazen uzun sürebilen karmaşık bir süreç olduğundan kesin bir zaman çizelgesi vermek imkansızdır. Ayrıca robots.txt dosyanız bir URL'ye erişimi reddediyor olsa bile, söz konusu URL'nin taranamamasına rağmen arama sonuçlarında görünmeye devam edebileceğini unutmayın. Google'dan engellediğiniz sayfaların kaldırılma sürecini hızlandırmak isterseniz kaldırma talebi gönderin.

Web sitemin taranmasını nasıl geçici olarak askıya alabilirim?

Robots.txt dosyası dahil tüm URL'ler için 503 (service unavailable) HTTP durum kodu döndürerek tüm tarama etkinliğini geçici olarak askıya alabilirsiniz. Robots.txt dosyası, yeniden erişilebilir oluncaya kadar belirli aralıklarla yeniden denenir. Taramayı reddetmek için robots.txt dosyanızı değiştirmenizi önermeyiz.

Sunucum büyük/küçük harfe duyarlı değil. Bazı klasörlerin taranmasını nasıl tamamen reddedebilirim?

Robots.txt dosyasındaki kurallar büyük/küçük harfe duyarlıdır. Bu durumda, standartlaştırma yöntemleri kullanılarak URL'nin yalnızca bir sürümünün dizine eklendiğinden emin olunması önerilir. Bunu yapmanız, robots.txt dosyanızın daha az satır içermesini sağlayıp yönetmenizi kolaylaştırır. Bu mümkün değilse klasör adının yaygın kullanılan kombinasyonlarını listelemenizi veya klasörün tam adı yerine, yalnızca adın ilk birkaç karakterini kullanarak olabildiğince kısaltmanızı öneririz. Örneğin, /MyPrivateFolder klasörünün tüm büyük ve küçük harfli permütasyonlarını listelemek yerine /MyP karakterlerinin permütasyonlarını listeleyebilirsiniz (bu ilk karakterlerle taranabilecek başka URL bulunmadığından eminseniz). Alternatif olarak, tarama sorun değilse bir robots meta etiketi veya X-Robots-Tag HTTP üstbilgisi kullanmak mantıklı olabilir.

Robots.txt dosyasını içeren tüm URL'ler için 403 Forbidden kodunu döndürüyorum. Site neden hâlâ taranıyor?

Diğer 4xx HTTP durum kodları gibi 403 Forbidden HTTP durum kodu da robots.txt dosyasının var olmadığı şeklinde yorumlanır. Yani, tarayıcılar genellikle web sitesinin tüm URL'lerini tarayabileceklerini varsayar. Web sitesinin taranmasını engellemek için robots.txt dosyasının hem 200 OK HTTP durum kodu ile döndürülmesi hem de uygun disallow kuralı içermesi gerekir.

robots meta etiketi soruları

robots meta etiketi robots.txt dosyasının yerine geçer mi?

Hayır. Robots.txt dosyası hangi sayfalara erişildiğini kontrol eder. robots meta etiketi, bir sayfanın dizine eklenip eklenmeyeceğini kontrol eder, ancak bu etiketin görülmesi için sayfanın taranması gerekir. Bir sayfanın taranması soruna neden oluyorsa (örneğin, sayfa sunucunun fazla yüklenmesine neden oluyorsa) robots.txt dosyasını kullanın. Konu, yalnızca bir sayfanın arama sonuçlarında gösterilip gösterilmemesiyle ilgiliyse robots meta etiketini kullanabilirsiniz.

robots meta etiketi, sayfanın bir kısmının dizine eklenmesini engellemek için kullanılabilir mi?

Hayır, robots meta etiketi sayfa düzeyinde bir ayardır.

robots meta etiketini <head> bölümü dışında kullanabilir miyim?

Hayır, robots meta etiketinin sayfanın <head> bölümünde olması gerekir.

robots meta etiketi, taramayı reddetmez mi?

Hayır. robots meta etiketi şu anda noindex talimatı verse bile meta etiketin değişip değişmediğini görmek için URL'yi zaman zaman yeniden taramamız gerekir.

nofollow robots meta etiketi ile rel="nofollow" bağlantı özelliği arasındaki fark nedir?

nofollow robots meta etiketi bir sayfadaki tüm bağlantılar için geçerlidir. rel="nofollow" bağlantı özelliği yalnızca bir sayfadaki belirli bağlantılar için geçerlidir. rel="nofollow" bağlantı özelliği hakkında daha fazla bilgi için kullanıcı tarafından oluşturulan spam ve rel="nofollow" ile ilgili dokümanlarımıza bakın.

X-Robots-Tag HTTP üstbilgisi soruları

Bir URL'nin X-Robots-Tag üstbilgisini nasıl kontrol edebilirim?

Sunucu üstbilgilerini görüntülemenin basit bir yolu, Google Search Console'daki URL Denetleme Aracı özelliğini kullanmaktır. Herhangi bir URL'nin yanıt başlığını kontrol etmek için "sunucu üstbilgisi denetleyici"yi aramayı deneyin.