Robots meta etiketi, data-nosnippet ve X-Robots-Tag spesifikasyonları
Bu dokümanda, sayfa ve metin düzeyinde ayarların, Google'ın içeriğinizi arama sonuçlarında sunma şeklini düzenlemek için nasıl kullanılabileceği anlatılmaktadır. Sayfa düzeyindeki ayarları, HTML sayfalarına veya bir HTTP üst bilgisine meta etiket ekleyerek belirtebilirsiniz. Bir sayfa içindeki HTML öğelerinde data-nosnippet özelliğine sahip metin düzeyinde ayarlar belirtebilirsiniz.
Bu ayarların, yalnızca tarayıcıların bu ayarları içeren sayfalara erişimine izin verilirse okunabileceğini ve uygulanabileceğini unutmayın.
Arama motoru tarayıcılarına <meta name="robots" content="noindex"> etiketi veya yönergesi uygulanır. AdsBot-Google gibi arama yapmayan tarayıcıları engellemek için belirli tarayıcıyı hedefleyen yönergeler eklemeniz gerekebilir (örneğin, <meta name="AdsBot-Google" content="noindex">).
Robots meta etiketini kullanma
Robots meta etiketi, tek bir sayfanın dizine nasıl eklenmesi ve Google Arama sonuçlarında kullanıcılara nasıl sunulması gerektiğini kontrol etmek için ayrıntılı, sayfaya özel bir yaklaşım kullanabilmenizi sağlar. Robots meta etiketini belirli bir sayfanın <head> bölümüne şu şekilde yerleştirin:
<!DOCTYPE html> <html><head> <meta name="robots" content="noindex"> (…) </head> <body>(…)</body> </html>
Bu örnekte, robots meta etiketi, arama motorlarına sayfayı arama sonuçlarında göstermemesini bildirir. name özelliğinin değeri (robots), yönergenin tüm tarayıcılar için geçerli olduğunu belirtir. Belirli bir tarayıcıya özel yönerge vermek için name özelliğinin robots değerini, ilgili tarayıcının adıyla değiştirin. Belirli tarayıcılar, kullanıcı aracıları (user-agents) olarak da bilinir (tarayıcılar, sayfa istemek için kendi kullanıcı aracılarını kullanır). Google'ın standart web tarayıcısının kullanıcı aracısının adı Googlebot şeklindedir. Yalnızca Google'ın sayfanızı dizine eklemesini engellemek için etiketi aşağıdaki şekilde güncelleyin:
<meta name="googlebot" content="noindex">
Bu etiket artık özellikle Google'a bu sayfayı web arama sonuçlarında göstermemesini bildirmektedir. Hem name hem de content özelliği büyük/küçük harfe duyarlı değildir.
Arama motorlarının, farklı amaçlar için farklı tarayıcıları olabilir. Google tarayıcılarının tam listesini inceleyin. Örneğin, bir sayfayı Google'ın web arama sonuçlarında gösterirken Google Haberler'de göstermemek için aşağıdaki meta etiketi kullanın:
<meta name="googlebot-news" content="noindex">
Birden çok tarayıcıyı bağımsız olarak belirtmek için birden çok robots meta etiketi kullanın:
<meta name="googlebot" content="noindex"> <meta name="googlebot-news" content="nosnippet">
HTML olmayan kaynakların (ör. PDF dosyaları, video dosyaları veya resim dosyaları) dizine eklenmesini engellemek için bunun yerine X-Robots-Tag yanıt başlığını kullanın.
X-Robots-Tag HTTP üst bilgisini kullanma
X-Robots-Tag, belirli bir URL'yle ilgili HTTP üst bilgisi yanıtının bir öğesi olarak kullanılabilir. Bir robots meta etiketinde kullanılabilecek tüm yönergeler, bir X-Robots-Tag olarak da belirtilebilir. Tarayıcılara bir sayfayı dizine eklememelerini bildiren bir X-Robots-Tag üst bilgisinin yer aldığı bir HTTP yanıtı örneğini burada görebilirsiniz:
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noindex (…)
Birden çok X-Robots-Tag üst bilgisini HTTP yanıtında birleştirebilir veya virgülle ayrılmış bir yönerge listesi belirtebilirsiniz. unavailable_after X-Robots-Tag ile birleşik bir noarchive X-Robots-Tag öğesinin yer aldığı HTTP üst bilgisi yanıtı örneğini burada görebilirsiniz.
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noarchive X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST (…)
X-Robots-Tag, isteğe bağlı olarak yönergelerden önce bir kullanıcı aracısı belirtebilir. Örneğin, aşağıdaki X-Robots-Tag HTTP üst bilgileri grubu, bir sayfanın farklı arama motorlarındaki arama sonuçlarında gösterilmesine koşullu olarak izin vermek için kullanılabilir:
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: googlebot: nofollow X-Robots-Tag: otherbot: noindex, nofollow (…)
Kullanıcı aracısı belirtilmeyen yönergeler tüm tarayıcılar için geçerli olur. HTTP üst bilgisi, kullanıcı aracısı adı ve belirtilen değerler, büyük/küçük harfe duyarlı değildir.
Geçerli dizine ekleme ve sunma yönergeleri
Aşağıdaki yönergeler, dizine eklemeyi ve snippet sunmayı kontrol etmek için robots meta etiketi ve X-Robots-Tag ile birlikte kullanılabilir. Arama sonuçlarında snippet, bir dokümanın kullanıcının sorgusuyla alaka düzeyini göstermek için kullanılan metnin kısa bir özetidir. Aşağıdaki tabloda, Google'ın kullandığı tüm yönergeler ve anlamları gösterilmektedir. Her bir değer belirli bir yönergeyi temsil eder. Birden çok yönerge, virgülle ayrılmış bir listede veya ayrı meta etiketlerde birleştirilebilir. Bu yönergeler büyük/küçük harfe duyarlı değildir.
| Yönergeler | |
|---|---|
|
Dizine ekleme veya sunmaya ilişkin herhangi bir kısıtlama yok. Bu yönerge, varsayılan değer olup açık olarak yazılmasının herhangi bir etkisi olmaz. |
|
Bu sayfayı veya kaynağı arama sonuçlarında gösterme. Bu yönergeyi belirlemezseniz sayfa veya kaynak, dizine eklenerek arama sonuçlarında gösterilebilir. Google'dan bilgi kaldırmak için adım adım açıklamalı kılavuzumuzdan yardım alabilirsiniz. |
|
Bu sayfadaki bağlantıları izleme. Bu yönergeyi belirlemezseniz Google, bağlantı verilen
sayfaları keşfetmek için sayfadaki bağlantıları kullanabilir. nofollow hakkında daha fazla bilgi edinin.
|
|
noindex, nofollow etiketine eş değer.
|
|
Arama sonuçlarında önbelleğe alınan bağlantı gösterme. Bu yönergeyi belirlemezseniz Google, önbelleğe alınmış bir sayfa oluşturabilir ve kullanıcılar arama sonuçları üzerinden bu sayfaya ulaşabilir. |
|
Bu sayfanın arama sonuçlarında site bağlantısı arama kutusu gösterme. Bu yönergeyi belirlemezseniz Google, sitenizdeki diğer doğrudan bağlantılarla birlikte arama sonuçlarında sitenize özel bir arama kutusu oluşturabilir. |
|
Arama sonuçlarında bu sayfaya ait metin snippet'i veya video önizlemesi gösterme. Daha iyi bir kullanıcı deneyimiyle sonuçlandığında, bir statik resim küçük resmi (varsa) görünmeye devam edebilir. Bu, tüm arama sonucu biçimleri için geçerlidir (Google'da: web arama, Google Görseller, Keşfet). Bu yönergeyi belirlemezseniz Google, sayfada bulunan bilgileri kullanarak bir metin snippet'i ve video önizlemesi oluşturabilir. |
|
Bir sayfa başka bir sayfaya yerleştirilmişse
|
|
Bu arama sonucu için metin nitelikli snippet olarak en fazla [sayı] karakter kullanın. (Bir URL'nin, arama sonuçları sayfasında birden fazla arama sonucu olarak görünebileceğini unutmayın.) Bu durum, resim veya video önizlemelerini etkilemez. Bu, tüm arama sonucu biçimleri için (Google web arama, Google Görseller, Keşfet, Asistan gibi) geçerlidir. Ancak, bu sınır, bir yayıncının içerik kullanımı konusunda ayrı olarak izin verdiği durumlarda geçerli değildir. Örneğin, yayıncı sayfa içi yapılandırılmış veri biçiminde içerik sağlıyorsa veya Google ile bir lisans sözleşmesi varsa bu ayar, izin verilen daha spesifik kullanımları kesintiye uğratmaz. Ayrıştırılabilir bir [sayı] belirtilmediyse bu yönerge yok sayılır. Bu yönergeyi belirlemezseniz Google, snippet'in uzunluğuna karar verir. Özel değerler:
Örnekler: Bir snippet'in arama sonuçlarında gösterilmesini durdurmak için: <meta name="robots" content="max-snippet:0"> Snippet'te en fazla 20 karakter gösterilmesine izin vermek için: <meta name="robots" content="max-snippet:20"> Snippet'te gösterilebilecek karakterlerin sayısında bir sınır olmadığını belirtmek için: <meta name="robots" content="max-snippet:-1"> |
|
Arama sonuçlarında bu sayfa için bir resim önizlemesinin maksimum boyutunu ayarlayın.
Kabul edilen [ayar] değerleri:
Bu, tüm arama sonucu biçimleri için (Google web arama, Google Görseller, Keşfet, Asistan gibi) geçerlidir. Ancak, bu sınır, bir yayıncının içerik kullanımı konusunda ayrı olarak izin verdiği durumlarda geçerli değildir. Örneğin, yayıncı sayfa içi yapılandırılmış veri biçiminde (AMP ve bir makalenin standart sürümleri gibi) içerik sağlıyorsa veya Google ile bir lisans sözleşmesi varsa bu ayar, izin verilen daha spesifik kullanımları kesintiye uğratmaz.
AMP sayfaları ve bir makalenin standart sürümü Arama veya Keşfet'te sunulduğunda Google'ın daha büyük boyutta küçük resimler kullanmasını istemiyorsanız Örnek: <meta name="robots" content="max-image-preview:standard"> |
|
Arama sonuçlarında bu sayfadaki videolar için video snippet'i olarak en fazla [sayı] saniye kullanın.
Özel değerler:
Bu, tüm arama sonucu biçimleri için geçerlidir (Google'da: web arama, Google Görseller, Google Videolar, Keşfet, Asistan). Ayrıştırılabilir bir [sayı] belirtilmediyse bu yönerge yok sayılır. Örnek: <meta name="robots" content="max-video-preview:-1"> |
|
Arama sonuçlarında bu sayfanın çevirisini sunma. Bu yönergeyi belirlemezseniz Google, arama sorgusunun dilinde mevcut olmayan bir arama sonucuna ait başlık bağlantısı ve snippet'in çevirisini sunabilir. Kullanıcı çevrilmiş başlık bağlantısını tıklarsa sayfadaki diğer tüm kullanıcı etkileşimleri Google Çeviri üzerinden yapılır ve sonrasında gelen bağlantılar da otomatik olarak çevrilir. |
|
Bu sayfadaki görselleri dizine ekleme. Bu yönergeyi belirlemezseniz sayfadaki görseller dizine eklenebilir ve arama sonuçlarında gösterilebilir. |
|
Belirtilen tarihten/saatten sonra arama sonuçlarında bu sayfayı gösterme. Tarih/saat değeri yaygın şekilde benimsenen bir biçimde belirtilmelidir. Örneğin, bunlarla sınırlı olmamakla birlikte, RFC 822, RFC 850 ve ISO 8601 gibi. Geçerli bir tarih/saat belirtilmezse yönerge yok sayılır. Varsayılan olarak içerik için son kullanma tarihi yoktur. Bu yönergeyi belirlemezseniz bu sayfa, arama sonuçlarında süresiz olarak gösterilebilir. Googlebot, belirtilen tarih ve saatten sonra URL'nin tarama hızını önemli ölçüde düşürür. Örnek: <meta name="robots" content="unavailable_after: 2020-09-21"> |
Birleşik dizine ekleme ve sunma yönergelerini işleme
Birden çok yönerge içeren talimat oluşturabilirsiniz. Bunun için robots meta etiketi yönergelerini virgüllerle birleştirebilir veya birden fazla meta etiket kullanabilirsiniz. Web tarayıcılarına sayfayı dizine eklememelerini ve sayfadaki bağlantıların hiçbirini taramamalarını bildiren bir robots meta etiketi örneğini burada görebilirsiniz:
Virgülle ayrılmış liste
<meta name="robots" content="noindex, nofollow">
Birden çok meta etiket
<meta name="robots" content="noindex"> <meta name="robots" content="nofollow">
Metin snippet'ini 20 karakterle sınırlayan, büyük resim önizlemesine izin veren bir örneği burada görebilirsiniz:
<meta name="robots" content="max-snippet:20, max-image-preview:large">
Farklı yönergelerle birlikte birden çok tarayıcının belirtildiği durumlarda arama motoru, negatif yönergelerin toplamını kullanır. Örneğin:
<meta name="robots" content="nofollow"> <meta name="googlebot" content="noindex">
Bu meta etiketleri içeren sayfa, Googlebot tarafından tarandığında, bir noindex, nofollow yönergesi içeriyormuş gibi yorumlanır.
data-nosnippet HTML özelliğini kullanma
Bir HTML sayfasının snippet'i olarak kullanılmayacak metin bölümlerini tanımlayabilirsiniz. Bu işlem span, div, section öğelerinde data-nosnippet HTML özelliği ile HTML öğesi düzeyinde yapılabilir. data-nosnippet, bir boole özelliği olarak kabul edilir.
Tüm boole özelliklerinde olduğu gibi, belirtilen herhangi bir değer yok sayılır. Makine okunabilirliğini sağlamak için HTML bölümü geçerli HTML olmalı ve ilgili tüm etiketler uygun bir şekilde kapatılmalıdır.
Örnekler:
<p>This text can be shown in a snippet <span data-nosnippet>and this part would not be shown</span>.</p> <div data-nosnippet>not in snippet</div> <div data-nosnippet="true">also not in snippet</div> <div data-nosnippet="false">also not in snippet</div> <!-- all values are ignored --> <div data-nosnippet>some text</html> <!-- unclosed "div" will include all content afterwards --> <mytag data-nosnippet>some text</mytag> <!-- NOT VALID: not a span, div, or section -->
Google genellikle sayfaları dizine eklemek amacıyla oluşturur, ancak oluşturma garanti edilmez.
Bu nedenle, data-nosnippet ayıklama işlemi oluşturma öncesinde ve sonrasında gerçekleşebilir. Oluşturmadan kaynaklanan belirsizlikleri önlemek için mevcut düğümlerin data-nosnippet özelliğini JavaScript aracılığıyla eklemeyin veya kaldırmayın.
JavaScript aracılığıyla DOM öğeleri eklerken, öğeyi başlangıçta sayfanın DOM'sine eklerken gereken şekilde data-nosnippet özelliğini ekleyin. Özel öğeler kullanılıyorsa ve data-nosnippet kullanmanız gerekiyorsa bunları div, span veya section öğeleriyle sarmalayın veya oluşturun.
Yapılandırılmış veriyi kullanma
Robots meta etiketleri, Google'ın arama sonuçları olarak görüntülemek üzere web sayfalarından otomatik olarak ayıkladığı içerik miktarını belirler. Ancak, birçok yayıncı, belirli bilgileri arama sunumu için kullanılabilir hale getirmek amacıyla schema.org yapılandırılmış verilerini de kullanır. Robots meta etiketi sınırlamaları, diğer reklam öğeleri için belirtilen yapılandırılmış verinin article.description ve description değerleri dışında bu yapılandırılmış verilerin kullanımını etkilemez. Bu description değerlerine dayalı önizleme maksimum uzunluğunu belirtmek için max-snippet robots meta etiketini kullanın. Örneğin, bir sayfadaki recipe yapılandırılmış verisi, metin önizlemesi başka türlü sınırlandırılacak olsa bile, yemek tarifi bandına dahil edilmeye uygundur. Bir metin önizlemesinin uzunluğunu max-snippet ile sınırlayabilirsiniz ancak zengin sonuçlar için bilgiler yapılandırılmış veri kullanılarak sağlandığında, robots meta etiketi geçerli olmaz.
Web sayfalarınızla ilgili yapılandırılmış verilerin kullanımını yönetmek için bilgiler ekleyerek veya kaldırarak yapılandırılmış veri türlerini ve değerlerin kendilerini değiştirin. Bu şekilde, yalnızca sunmak istediğiniz verileri sağlamış olursunuz. Ayrıca, yapılandırılmış verilerin, bir data-nosnippet öğesi içinde belirtildiklerinde arama sonuçları için kullanılabilir durumda kalacaklarını unutmayın.
X-Robots-Tag öğesinin pratik uygulaması
X-Robots-Tag öğesini, sitenizin web sunucusu yazılımının yapılandırma dosyaları aracılığıyla site HTTP yanıtlarına ekleyebilirsiniz. Örneğin, Apache tabanlı web sunucularında .htaccess ve httpd.conf dosyalarını kullanabilirsiniz. HTTP yanıtlarıyla bir X-Robots-Tag kullanmanın yararı, bir sitede genel olarak uygulanan tarama yönergelerini belirtebilmenizdir. Normal ifadelerin desteklenmesi büyük bir esneklik sağlar.
Örneğin, site genelinde tüm .PDF dosyalarıyla ilgili HTTP yanıtına noindex, nofollow X-Robots-Tag eklemek için sitenin root .htaccess dosyasına veya Apache'de httpd.conf dosyasına ya da NGINX'te .conf dosyasına aşağıdaki snippet'i ekleyin.
Apache
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}
NGINX
HTML'de robots meta etiketlerini kullanmanın imkansız olduğu resim dosyaları gibi HTML dışı dosyalar için X-Robots-Tag etiketini kullanabilirsiniz. Site genelinde resim dosyalarına (.png, .jpeg, .jpg, .gif) bir noindex X-Robots-Tag yönergesi eklemeyle ilgili bir örneği burada görebilirsiniz:
Apache
<Files ~ "\.(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex" </Files>
NGINX
location ~* \.(png|jpe?g|gif)$ {
add_header X-Robots-Tag "noindex";
}
Ayrı ayrı statik dosyalar için X-Robots-Tag üst bilgilerini de ayarlayabilirsiniz:
Apache
# the htaccess file must be placed in the directory of the matched file. <Files "unicorn.pdf"> Header set X-Robots-Tag "noindex, nofollow" </Files>
NGINX
location = /secrets/unicorn.pdf {
add_header X-Robots-Tag "noindex, nofollow";
}
Robots.txt yönergelerini dizine ekleme ve sunma yönergeleriyle birleştirme
Robots meta etiketleri ve X-Robots-Tag HTTP üst bilgileri, bir URL tarandığında keşfedilir. Bir sayfanın taranması robots.txt dosyası aracılığıyla reddedilirse dizine ekleme veya sunma yönergeleriyle ilgili bilgiler bulunamaz, dolayısıyla yoksayılır. Dizine ekleme veya sunma yönergelerinin izlenmesi gerekiyorsa bu yönergeleri içeren URL'lerin taranması reddedilemez.