Googlebot'un tarama hızını azaltma

Google, bir site için en uygun tarama hızını belirlemek üzere gelişmiş algoritmalara sahiptir. Amacımız, sunucunuzun bant genişliğinde aşırı yoğunluğa yol açmadan her ziyaretimizde sitenizden mümkün olduğunca çok sayfayı taramaktır. Bazı durumlarda Google'ın sitenizi taraması, altyapınıza önemli ölçüde yük yüklenmesine veya bir kesinti sırasında istenmeyen maliyetlere neden olabilir. Bu tür etkileri hafifletmek için Googlebot tarafından yapılan isteklerin sayısını azaltmaya karar verebilirsiniz.

Uyarı: Googlebot'un tarama hızını azaltmayı düşünürken bunun etkilerinin geniş kapsamlı olacağını unutmayın. Googlebot daha az yeni sayfa keşfeder, mevcut sayfalar daha seyrek yenilenir (örneğin, fiyatların ve ürün stok durumunun Arama'da görünmesi daha uzun sürebilir) ve kaldırılan sayfalar dizinde daha uzun süre kalabilir.

Tarama hızını, kısa bir süre için (örneğin, birkaç saat veya 1-2 gün) acilen azaltmanız gerekiyorsa tarama isteklerine 200 yerine 500, 503 veya 429 HTTP durum kodu döndürün. Googlebot, çok sayıda 500, 503 veya 429 HTTP yanıt durum koduna sahip URL ile karşılaştığında (örneğin, sitenizi devre dışı bıraktığınızda) tarama hızını düşürür. Düşük tarama hızı, sitenizin ana makine adının tamamını (örneğin subdomain.example.com), hem hata döndüren URL'lerin hem de içerik döndüren URL'lerin taranmasını etkiler. Bu hataların sayısı azaltıldığında, tarama hızı otomatik olarak tekrar artmaya başlar.

Taramada ani bir artışın, sitenizin yapısındaki verimsizliklerden veya sitenizle ilgili sorunlardan kaynaklanabileceğini unutmayın. Tarama verimliliğini optimize etme ile ilgili kılavuzumuzu inceleyin.

Uyarı: Bu işlemi, uzun süre (yani 1-2 günden daha uzun) uygulamamanızı öneririz. Googlebot, bu durum kodlarını aynı URL'de birkaç gün boyunca gözlemlerse URL'yi Google'ın dizininden çıkarabilir.

Googlebot'a hata sunmak altyapınıza uygun değilse tarama hızını azaltmak için özel istekte bulunun. Tarama hızında artış isteğinde bulunamazsınız.