HTTP durum kodları ile ağ ve DNS hatalarının Google Arama'ya etkileri

Bu sayfada, farklı HTTP durum kodları ile ağ ve DNS hatalarının Google Arama üzerindeki etkileri açıklanmaktadır. Açıklamalarda Googlebot'un web'de en sık karşılaştığı 20 durum kodunun yanı sıra, en belirgin ağ ve DNS hatalarına yer verdik. 418 (I'm a teapot) gibi pek yaygın olmayan durum kodlarını bu sayfaya dahil etmedik. Bu sayfada değinilen sorunların her biri, Search Console'un Tarama İstatistikleri raporunda bir hata veya uyarı oluşturur.

HTTP durum kodları

HTTP durum kodları, siteyi barındıran sunucu tarafından web tarayıcısı veya arama motoru tarayıcısı gibi istemcilerin isteklerine yanıt verirken oluşturulur. Her HTTP durum kodunun anlamı farklıdır ancak isteğin ulaştığı sonuç genellikle aynıdır. Örneğin, yönlendirme sinyali taşıyan birden fazla durum kodu vardır ancak bunların sonuçları aynıdır.

Search Console, 4xx–5xx aralığındaki durum kodları ve başarısız olan yönlendirmeler (3xx) için hata mesajları oluşturur. Sunucu yanıtında 2xx durum kodu bulunması halinde, yanıtta alınan içeriğin dizine eklenmesi değerlendirilebilir.

HTTP durum kodları
2xx (success)

Google, içeriği dizine eklemek üzere değerlendirir. İçeriğin boş sayfa veya hata mesajı gibi bir hataya işaret etmesi halinde Search Console, soft 404 hatası gösterir.

200 (success)

Googlebot, içeriği, dizine ekleme hattına iletir. Dizine ekleme sistemleri, içeriği dizine ekleyebilir ancak bu garanti edilmez.

201 (created)
202 (accepted)

Googlebot, içerik için belirli bir süre bekler ve ardından, almış olduğu içeriklerin tamamını dizine ekleme hattına iletir. Zaman aşımı, kullanıcı aracısına bağlıdır. Örneğin, Googlebot Akıllı Telefon, Googlebot Görsel'den farklı bir zaman aşımı değerine sahip olabilir.

204 (no content)

Googlebot, dizine ekleme hattına içerik almadığını iletir. Search Console, sitenin Dizin Kapsamı raporunda soft 404 hatası gösterebilir.

3xx (redirects)

Googlebot, en fazla 10 yönlendirme atlamasını izler. Tarayıcı 10 atlama boyunca içerik almazsa Search Console, sitenin Dizin Kapsamı raporunda yönlendirme hatası gösterir. Googlebot'un kaç atlama izleyeceği, kullanıcı aracısına bağlıdır. Örneğin, Googlebot Akıllı Telefon, Googlebot Görsel'den farklı bir değere sahip olabilir.

301 (moved permanently)

Googlebot, yönlendirmeyi izler ve yönlendirme, dizine ekleme hattı tarafından yönlendirme hedefinin standart URL olması gerektiği yönünde güçlü bir sinyal olarak kullanır.

302 (found)

Googlebot, yönlendirmeyi izler ve yönlendirme, dizine ekleme hattı tarafından yönlendirme hedefinin standart URL olması gerektiği yönünde zayıf bir sinyal olarak kullanır.

303 (see other)
304 (not modified)

Googlebot, dizine ekleme hattına, içeriğin son tarandığı haliyle aynı olduğunu iletir. Dizine ekleme hattı, URL'nin sinyallerini tekrar hesaplayabilir ancak durum kodunun dizine ekleme üzerinde başka bir etkisi olmaz.

307 (temporary redirect) 302 etiketine eş değer.
308 (moved permanently) 301 etiketine eş değer.
4xx (client errors)

Google'ın dizine ekleme hattı, 4xx durum kodu döndüren URL'leri dizine eklemek üzere değerlendirmez ve halihazırda dizine ekli olup 4xx durum kodu döndüren URL'ler dizinden kaldırılır.

400 (bad request)

429 dışındaki tüm 4xx hataları, aynı şekilde işlenir: Googlebot, dizine ekleme hattına içeriğin mevcut olmadığını iletir.

URL, daha önce dizine eklenmişse dizine ekleme hattı tarafından dizinden kaldırılır. Yeni karşılaşılan 404 sayfaları işlenmez. Tarama sıklığı kademeli olarak azalır.

401 (unauthorized)
403 (forbidden)
404 (not found)
410 (gone)
411 (length required)
429 (too many requests)

Googlebot, 429 durum kodunu sunucunun aşırı yüklü olduğu yönünde bir sinyal olarak işler ve bu durum sunucu hatası olarak kabul edilir.

5xx (server errors)

5xx ve 429 sunucu hataları, Google'ın tarayıcılarını geçici olarak taramayı yavaşlatmaya sevk eder. Halihazırda dizine ekli olan URL'ler dizinde tutulur ancak taranmaları mümkün olmazsa sonunda dizinden çıkarılırlar.

500 (internal server error)

Googlebot, sitenin tarama hızını düşürür. Tarama hızındaki düşüş, sunucu hatası döndüren ayrı URL'lerin sayısıyla orantılıdır. Google'ın dizine ekleme hattı, kalıcı olarak sunucu hatası döndüren URL'leri dizinden çıkarır.

502 (bad gateway)
503 (service unavailable)

Ağ ve DNS hataları

URL'lerin Google Arama'daki varlığı üzerinde ağ ve DNS hatalarının etkisi hızlı ve olumsuz olur. Googlebot, ağ zaman aşımlarını, bağlantı sıfırlamalarını ve DNS hatalarını 5xx sunucu hataları gibi işler. Ağ hataları, sunucunun trafik yükünü taşıyamadığına işaret ediyor olabilir. Bu nedenle, ağ hatalarında tarama hızı derhal düşmeye başlar. Halihazırda dizine ekli olup erişilemeyen URL'ler, birkaç gün içerisinde Google'ın dizininden çıkarılır. Search Console, ilgili her bir hatayı belirtmek için ayrı ayrı hata oluşturabilir.

Ağ hatalarını ayıklama

Bu hatalar, Google URL'yi taramaya başlamadan önce veya Google URL'yi tararken meydana gelir. Hatalar, sunucu henüz yanıt veremeden oluşabilir ve sorunun ne olduğuna dair bir durum kodu yoktur. Bu nedenle, bu hataların teşhisi daha zor olabilir. Zaman aşımı ve bağlantı sıfırlanma hatalarını ayıklamak için:

  • Güvenlik duvarı ayarlarınıza ve günlüklerinize bakın. Bir engelleme kuralı grubunun kapsamı aşırı geniş olabilir. Googlebot IP adreslerini herhangi bir güvenlik duvarı kuralının engellemediğinden emin olun.
  • Ağ trafiğine bakın. Belirli bir ağ bileşenine veya sunucu modülüne işaret eden anormallikler olup olmadığını görmek için tcpdump ve Wireshark gibi araçlarla TCP paketlerini yakalayıp analiz edebilirsiniz.
  • Şüpheli bir bulguya rastlamazsanız barındırma şirketinizle iletişim kurun.

Hata, ağ trafiğini işleyen herhangi bir sunucu bileşeninden kaynaklanıyor olabilir. Örneğin, aşırı yüklenen ağ arayüzleri, paketleri kaybedebilir ve bu durum, zaman aşımına (bağlantı kurulamaması) ve bağlantının sıfırlanmasına (yanlışlıkla kapatılan bir bağlantı noktası yüzünden RST paketi gönderilmesi) yol açabilir.

DNS hatalarını ayıklama

DNS hatalarının en yaygın sebebi yanlış yapılandırma olsa da bu durum Googlebot DNS sorgularını engelleyen bir güvenlik duvarı kuralından da kaynaklanabilir. DNS hatalarını ayıklamak için aşağıdakileri uygulayın:

  • Güvenlik duvarı kurallarınızı inceleyin. Google IP'lerinin hiçbirini herhangi bir güvenlik duvarı kuralının engellemediğinden ve hem UDP hem de TCP isteklerine izin verildiğinden emin olun.
  • DNS kayıtlarınıza bakın. A ve CNAME kayıtlarınızın sırasıyla doğru IP adreslerine ve ana makine adına işaret ettiğini tekrar kontrol edin. Örneğin:
    dig +nocmd example.com a +noall +answer
    dig +nocmd www.example.com cname +noall +answer
  • Tüm alan adı sunucularınızın sitenizdeki doğru IP adreslerine işaret edip etmediğini kontrol edin. Örneğin:
    dig +nocmd example.com ns +noall +answer
    example.com.    86400  IN  NS  a.iana-servers.net.
    example.com.    86400  IN  NS  b.iana-servers.net.
    dig +nocmd @a.iana-servers.net example.com +noall +answer
    example.com.    86400  IN  A  93.184.216.34
    dig +nocmd @b.iana-servers.net example.com +noall +answer
    ...
  • Son 72 saat içerisinde DNS yapılandırmanızda değişiklikler yaptıysanız bu değişikliklerin global DNS ağı genelinde yayılmasını beklemeniz gerekebilir.
  • Kendi DNS sunucunuzu çalıştırıyorsanız sunucunun sağlıklı olduğundan ve aşırı yüklenmediğinden emin olun.