Bir sayfanın Google Arama'da görünmesini engellemek için sayfanın HTML koduna noindex meta etiketi ekleyebilir ya da HTTP isteğinde bir "noindex" başlığı döndürebilirsiniz. Googlebot bir dahaki sefere bu sayfayı taradığında ve etiketi ya da başlığı gördüğünde, başka sitelerin bu sayfaya bağlantı verip vermemesinden bağımsız olarak sayfayı Google Arama sonuçlarından tamamen çıkarır.
Önemli! noindex yönergesinin etkili olabilmesi için sayfanın bir robots.txt dosyası tarafından engellenmemesi gerekir. Sayfa bir robots.txt dosyası tarafından engellenirse, tarayıcı noindex yönergesini hiçbir zaman görmez ve sayfa, arama sonuçlarında görüntülenmeye devam eder (örneğin başka sayfalar, söz konusu sayfaya bağlantı vermişlerse görüntülenir).
noindex kullanımı, sitenize erişimi sayfa bazında kontrol etme olanağı sunduğundan, sunucunuzun kök dizinine erişiminiz olmadığında işe yarar.
noindex'i uygulama
noindex'i uygulamanın iki yolu vardır: meta etiket olarak ve HTTP yanıt başlığı olarak. Etkileri aynıdır, ancak sunucunuz üzerinde ne kadar kontrol sahibi olduğunuza ve özel yayınlama işleminize bağlı olarak ikisinden biri sizin için daha uygun olabilir.
<meta> etiket
Sitenizdeki bir sayfanın web tarayıcılarının çoğu tarafından dizine eklenmesini engellemek için aşağıdaki meta etiketi sayfanızın <head> bölümüne ekleyin:
<meta name="robots" content="noindex">
Sadece Google web tarayıcılarının bir sayfayı dizine eklemelerini önleme:
<meta name="googlebot" content="noindex">
Bazı web tarayıcılarının noindex yönergesini farklı yorumlayabileceğini bilmeniz gerekir. Bunun sonucunda sayfanızın diğer arama motorlarının sonuçlarında görünmeye devam etmesi mümkündür.
noindex meta etiketi hakkında daha fazla bilgi.
Meta etiketlerinizi bulmamıza yardımcı olma
Meta etiketlerinizi görmemiz için sayfanızı taramamız gerekir. Sayfanız sonuçlarda görünmeye devam ediyorsa, bunun nedeni büyük olasılıkla siz etiketi eklediğinizden beri sitenizi taramamış olmamızdır. Google Gibi Getir aracını kullanarak Google'dan sayfanızı yeniden taramasını isteyebilirsiniz. Bunun diğer bir nedeni de robots.txt dosyanızın, Google web tarayıcılarının bu URL'ye erişmesini engellemesi olabilir. Böyle bir durumda etiketi göremeyiz. Google'ın sayfalarınıza erişiminin engellenmesini kaldırmak için robots.txt dosyanızı düzenlemeniz gerekir. robots.txt dosyanızı robots.txt Test Aracı'nı kullanarak düzenleyebilir ve test edebilirsiniz.
HTTP yanıt başlığı
Bir meta etiketi yerine yanıtınızdaki noindex veya none değerine sahip bir X-Robots-Tag üst bilgisi döndürebilirsiniz. Tarayıcılara bir sayfayı dizine eklememelerini bildiren bir X-Robots-Tag üst bilgisinin yer aldığı HTTP yanıtı örneğini burada görebilirsiniz:
HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)