Robots meta etiketi ve X-Robots-Tag HTTP üst bilgisi spesifikasyonları

Özet

Bu dokümanda, Google'ın sayfa düzeyindeki dizine ekleme ayarlarını nasıl işlediği ayrıntılı bir şekilde anlatılmaktadır. Sayfa düzeyindeki dizine ekleme ayarları, Google'ın içeriği arama sonuçları aracılığıyla nasıl kullanıma sunacağını kontrol etmenize olanak sağlar. (X)HTML sayfalarına veya bir HTTP üst bilgisine bir meta etiket ekleyerek bunları belirtebilirsiniz.

Not: Bu ayarların, yalnızca tarayıcıların bu ayarları içeren sayfalara erişimine izin verilirse okunabileceğini ve uygulanabileceğini unutmayın.

Başa dön

Robots meta etiketini kullanma

Robots meta etiketi, tek bir sayfanın dizine nasıl eklenmesi ve arama sonuçlarında kullanıcılara nasıl sunulması gerektiğini kontrol etmek için ayrıntılı, sayfaya özel bir yaklaşım kullanabilmenizi sağlar. Robots meta etiketini belirli bir sayfanın <head> bölümüne şu şekilde yerleştirin:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>

Yukarıdaki örnekte yer alan robots meta etiketi, tüm arama motorlarına sayfayı arama sonuçlarında göstermemelerini bildirir. name özelliğinin değeri (robots), yönergenin tüm tarayıcılar için geçerli olduğunu belirtir. Belirli bir tarayıcıya yönelik yönerge vermek için name özelliğinin robots değerini, ele almakta olduğunuz tarayıcının adıyla değiştirin. Belirli tarayıcılar, kullanıcı aracıları (user-agents) olarak da bilinir (bir tarayıcı, bir sayfayı istemek için kendi kullanıcı aracısını kullanır). Google'ın standart web tarayıcısının kullanıcı aracısının adı Googlebot'tur. Yalnızca Googlebot'un sayfanızı taramasını engellemek için, etiketi aşağıdaki şekilde güncelleyin:

<meta name="googlebot" content="noindex" />

Bu etiket artık, Google'a (diğer arama motorlarına değil) bu sayfayı web arama sonuçlarında göstermemesini bildirmektedir. Hem name hem de content özelliği büyük/küçük harfe duyarlı değildir.

Arama motorlarının, farklı özellikler veya amaçlar için farklı tarayıcıları olabilir. Google tarayıcılarının tam listesini inceleyin. Örneğin, bir sayfayı Google'ın web arama sonuçlarında göstermek, ancak Google News'da göstermemek için aşağıdaki meta etiketi kullanın:

<meta name="googlebot-news" content="noindex" />

Birden çok tarayıcıyı bağımsız olarak belirtmeniz gerekiyorsa birden çok robots meta etiketi kullanabilirsiniz:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

Tarayıcılarımız, birbiriyle rekabet eden yönergelerle karşılaşırsa bulduğumuz en kısıtlayıcı yönergeyi kullanırız.

Başa dön

X-Robots-Tag HTTP üst bilgisini kullanma

X-Robots-Tag, belirli bir URL'ye ilişkin HTTP üst bilgisi yanıtının bir öğesi olarak kullanılabilir. Bir robots meta etiketinde kullanılabilecek tüm yönergeler, bir X-Robots-Tag olarak da belirtilebilir. Tarayıcılara bir sayfayı dizine eklememelerini bildiren bir X-Robots-Tag üst bilgisinin yer aldığı bir HTTP yanıtı örneğini burada görebilirsiniz:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

Birden çok X-Robots-Tag üst bilgisini HTTP yanıtında birleştirebilir veya virgülle ayrılmış bir yönerge listesi belirtebilirsiniz. Bir noarchive X-Robots-Tag üst bilgisinin bir unavailable_after X-Robots-Tag üst bilgisiyle birleştirildiği bir HTTP üst bilgisi yanıtı örneğini burada görebilirsiniz.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

X-Robots-Tag, isteğe bağlı olarak yönergelerden önce bir kullanıcı aracısı (user agent) belirtebilir. Örneğin, aşağıdaki X-Robots-Tag HTTP üst bilgileri grubu, bir sayfanın farklı arama motorlarının, arama sonuçlarında gösterilmesine koşullu olarak izin vermek için kullanılabilir:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

Kullanıcı aracısı (user-agent) belirtilmeyen yönergeler tüm tarayıcılar için geçerli olur. Aşağıdaki bölümde, birleşik yönergelerin nasıl işleneceği gösterilmektedir. Ne ad ne de belirtilen değerler, büyük/küçük harfe duyarlı değildir.

Başa dön

Geçerli dizine ekleme ve sunma yönergeleri

Dizine eklemeyi ve sunmayı kontrol etmek için, robots meta etiketi ve X-Robots-Tag ile birlikte kullanılabilecek birkaç başka yönerge daha vardır. Her bir değer belirli bir yönergeyi temsil eder. Aşağıdaki tabloda, Google'ın kullandığı tüm yönergeler ve anlamları gösterilmektedir. Not: Diğer arama motoru tarayıcıları, bu yönergeleri aynı şekilde işlemeyebilir. Birden çok yönerge, virgülle ayrılmış bir listede birleştirilebilir (birleşik yönergelerin nasıl işlendiğini görmek için aşağıdaki bilgilere bakın). Bu yönergeler büyük/küçük harfe duyarlı değildir.

YönergeAnlamı
all Dizine ekleme veya sunmaya ilişkin herhangi bir kısıtlama yok. Not: Bu yönerge, varsayılan değerdir ve açık olarak yazılmasının herhangi bir etkisi olmaz.
noindex Arama sonuçlarında, bu sayfayı ve "Önbelleğe alınmış" bir bağlantısını gösterme.
nofollow Bu sayfadaki bağlantıları izleme
none noindex, nofollow yönergesiyle eşdeğerdir
noarchive Arama sonuçlarında "Önbelleğe alınmış" bir bağlantı gösterme.
nosnippet Arama sonuçlarında bu sayfaya ilişkin bir snippet gösterme.
noodp Bu sayfayla ilgili olarak gösterilen başlıklar veya snippet'ler için Open Directory projesindeki meta verileri kullanma.
notranslate Arama sonuçlarında bu sayfanın çevirisini sunma.
noimageindex Bu sayfadaki görselleri dizine ekleme.
unavailable_after: [RFC-850 date/time] Belirtilen tarihten/saatten sonra arama sonuçlarında bu sayfayı gösterme. Tarih/saat değeri, RFC 850 biçiminde belirtilmelidir.

Robots.txt dosyası (veya dosyanın olmaması) bir sayfayı tarama izni sağladıktan sonra, bir robots meta etiketi veya X-Robots-Tag üst bilgisinde izin özel olarak reddedilmedikçe, varsayılan olarak sayfalar taranabilecek, dizine eklenebilecek, arşivlenebilecek şekilde işlenir ve içeriğinin arama sonuçlarında gösterilen snippet'lerde kullanılması onaylanmış olur.

Başa dön

Birleşik dizine ekleme ve sunma yönergelerini işleme

Robots meta etiketi yönergelerini virgüllerle birleştirerek birden çok yönerge içeren bir talimat oluşturabilirsiniz. Web tarayıcılarına sayfayı dizine eklememelerini ve sayfadaki bağlantıların hiçbirini taramamalarını bildiren bir robots meta etiketi örneğini burada görebilirsiniz:

<meta name="robots" content="noindex, nofollow">

Farklı yönergelerle birlikte birden çok tarayıcının belirtildiği durumlarda arama motoru, negatif yönergelerin toplamını kullanır. Örneğin:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Bu meta etiketleri içeren sayfa, Googlebot tarafından tarandığında, bir noindex, nofollow yönergesi içeriyormuş gibi yorumlanır.

Başa dön

X-Robots-Tag üst bilgisinin Apache ile pratik uygulaması

X-Robots-Tag üst bilgisini, Apache tabanlı web sunucularında varsayılan olarak bulunan .htaccess ve httpd.conf dosyalarını kullanarak bir sitenin HTTP yanıtlarına ekleyebilirsiniz. HTTP yanıtlarıyla bir X-Robots-Tag üst bilgisi kullanmanın faydası, bir site genelinde uygulanacak tarama yönergelerini belirtebilmenizdir. Düzenli ifadelerin desteklenmesi, çok esneklik sağlar.

Örneğin, bir sitenin tamamındaki tüm .PDF dosyalarına ilişkin HTTP yanıtına noindex, nofollow X-Robots-Tag üst bilgisi eklemek için, sitenin root .htaccess dosyasına veya httpd.conf dosyasına aşağıdaki snippet'i ekleyin:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

Robots meta etiketlerini kullanmanın imkansız olduğu resim dosyaları gibi HTML dışı dosyalar için, X-Robots-Tag üst bilgisini kullanabilirsiniz. Site genelinde resim dosyalarına (.png, .jpeg, .jpg, .gif) bir noindex X-Robots-Tag yönergesi eklemeye ilişkin bir örneği burada görebilirsiniz:

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

Başa dön

Taramayı dizine ekleme/sunma yönergeleriyle birleştirme

Robots meta etiketleri ve X-Robots-Tag HTTP üst bilgileri, bir URL tarandığında keşfedilir. Bir sayfanın taranması robots.txt dosyası aracılığıyla reddedilirse dizine ekleme veya sunma yönergeleriyle ilgili bilgiler bulunamaz, dolayısıyla yoksayılır. Dizine ekleme veya sunma yönergelerinin izlenmesi gerekiyorsa bu yönergeleri içeren URL'lerin taranması reddedilemez.

Başa dön

Şunun hakkında geri bildirim gönderin...