Google Arama tarama hatalarını giderme

Sitenizdeki Google Arama tarama sorunlarını giderme ve düzeltmeyle ilgili temel adımlar şunlardır:

  1. Googlebot'un sitenizde kullanılabilirlik sorunlarıyla karşılaşıp karşılaşmadığını öğrenin.
  2. Taranmayan ancak taranması gereken sayfalarınız olup olmadığını kontrol edin.
  3. Sitenizin herhangi bir bölümünün olduğundan daha hızlı taranmasının gerekli olup olmadığına bakın.
  4. Sitenizin tarama etkinliğini artırın.
  5. Sitenizin aşırı taranması sorununu giderin.

Googlebot'un sitenizde kullanılabilirlik sorunlarıyla karşılaşıp karşılaşmadığını öğrenin.

Sitenizin kullanılabilirliğini artırmak her zaman tarama bütçenizi artırmaz. Google daha önce açıklandığı gibi tarama talebine göre en iyi tarama hızını belirler. Ancak kullanılabilirlik sorunları, Google'ın sitenizi istediği kadar taramasını engeller.

Teşhis etme:

Googlebot'un sitenizle ilgili tarama geçmişini görmek için Tarama İstatistikleri raporunu kullanın. Google, sitenizde kullanılabilirlik sorunlarıyla karşılaştığında raporda bu gösterilir. Siteniz için kullanılabilirlik hataları veya uyarıları bildirilirse Ana makine kullanılabilirliği grafiklerinde Googlebot isteklerinin kırmızı sınır çizgisini aştığı örnekleri bulun, hangi URL'lerin başarısız olduğunu görmek için grafiği tıklayın ve bunları sitenizdeki sorunlarla ilişkilendirmeye çalışın.

Buna ek olarak, sitenizdeki birkaç URL'yi test etmek için URL Denetleme Aracı'nı da kullanabilirsiniz. Araç Ana makine yükü aşıldı uyarıları döndürürse Googlebot, sitenizde bulduğu URL'lerin hepsini tarayamaz.

Sorunun çözümü:

  • Kullanılabilirlik sorunlarını nasıl bulup çözeceğinizi öğrenmek için Tarama İstatistikleri raporuyla ilgili dokümanları okuyun.
  • Taranmasını istemediğiniz sayfaların taranmasını engelleyin. (Envanterinizi yönetin bölümüne bakın)
  • Sayfa yükleme ve oluşturma hızını artırın. (Sitenizin tarama etkinliğini artırın bölümüne bakın)
  • Sunucu kapasitenizi artırın. Google sitenizi sürekli olarak sunum kapasitesi sınırında taramasına rağmen hâlâ gerektiği kadar taranmayan veya güncellenmeyen önemli URL'leriniz varsa daha fazla sunum kaynağına sahip olmak Google'ın sitenizde daha fazla sayfa taramak istemesini sağlayabilir. Google tarama hızının belirlenen sınırı sıklıkla geçip geçmediğini görmek için Tarama İstatistikleri raporundaki ana makine kullanılabilirlik geçmişinizi kontrol edebilirsiniz. Böyle bir durumda sunum kaynaklarınızı bir ay boyunca artırın ve bu dönemde tarama isteklerinin artıp artmadığını kontrol edin.

Sitenizde taranması gerektiği halde taranmayan bölümler olup olmadığına bakın

Google, bulabildiği tüm yüksek kaliteli ve kullanıcı açısından değerli içerikleri dizine eklemek için sitenizde gerektiği kadar zaman geçirir. Googlebot'un önemli içerikleri bulamadığını düşünüyorsanız bunun nedeni içerikten haberdar olmaması, içeriğin Google tarafından engellenmesi veya sitenizin kullanılabilirliğinin Google'ın erişimini kısıtlaması (ya da Google'ın sitenizde aşırı yoğunluk oluşturmamaya çalışması) olabilir.

Teşhis etme:

Search Console, siteniz için URL'ye veya yola göre filtrelenebilen bir tarama geçmişi sağlamaz, ancak site günlüklerinizi inceleyerek belirli URL'lerin Googlebot tarafından taranıp taranmadığını görebilirsiniz. Bu taranan URL'lerin dizine eklenip eklenmemesi başka bir konudur.

Çoğu sitede yeni sayfaların fark edilmesinin en az birkaç gün süreceğini unutmayın. Haber siteleri gibi zamana duyarlı siteler hariç çoğu sitede, URL'lerin aynı gün taranması beklenmemelidir.

Sorunun çözümü:

Sitenize eklediğiniz sayfalar makul bir süre içinde taranmıyorsa bunun nedeni Google'ın bu sayfaları bilmemesi, içeriğin engellenmiş olması, sitenizin maksimum sunum kapasitesine ulaşması veya tarama bütçenizin tükenmesi olabilir.

  1. Google'a yeni sayfalarınız hakkında bilgi verin: Site haritalarınızı yeni URL'leri yansıtacak şekilde güncelleyin.
  2. Yanlışlıkla sayfaları engellemediğinizden emin olmak için robots.txt kurallarınızı inceleyin.
  3. Tarama önceliklerinizi gözden geçirin (diğer bir deyişle, tarama bütçenizi akıllıca kullanın). Envanterinizi yönetin ve sitenizin tarama etkinliğini artırın.
  4. Sunum kapasitenizin tükenmediğinden emin olun. Googlebot, sunucularınızın tarama isteklerine yanıt verme konusunda sorun yaşadığını tespit ederse tarama ölçeğini küçültür.

İçerik yeterince değerli değilse veya kullanıcılardan talep görmüyorsa, sayfalar taransa bile arama sonuçlarında gösterilmeyebilir.

Güncellemelerin yeterince hızlı bir şekilde taranıp taranmadığını kontrol edin

Sitenizdeki yeni veya güncellenmiş sayfaları taramadıysak bunun nedeni muhtemelen onları görmemiş veya güncellendiklerini fark etmemiş olmamızdır. Sayfa güncellemelerinden haberdar olmamıza nasıl yardımcı olabileceğiniz aşağıda açıklanmıştır.

Google'ın sayfaları mümkün olduğunca zamanında kontrol edip dizine eklemeye çalıştığını belirtmek isteriz. Çoğu site için bu süre en az üç gündür. Siteniz bir haber sitesi değilse veya yüksek değere sahip, zamana karşı son derece duyarlı başka bir içerik barındırmıyorsa Google'ın yayınladığınız gün içinde sayfaları dizine eklemesini beklemeyin.

Teşhis etme:

Belirli URL'lerin Googlebot tarafından ne zaman tarandığını görmek için site günlüklerinizi inceleyin.

Dizine ekleme tarihini öğrenmek için URL Denetleme aracını kullanın veya güncellediğiniz URL'lerle ilgili bir arama yapın.

Sorunun çözümü:

Şunları yapın:

  • Sitenizde haber içeriği varsa haberler site haritasını kullanın.
  • Dizine eklenmiş bir URL'nin ne zaman güncellendiğini belirtmek için site haritalarında <lastmod> etiketini kullanın.
  • Google'ın sayfalarınızı bulmasına yardımcı olmak için taranabilir URL yapısı kullanın.
  • Google'ın sayfalarınızı bulmasına yardımcı olmak için standart, taranabilir <a> bağlantıları sağlayın.
  • Sitenizde mobil ve masaüstü sürümleri için ayrı HTML kullanılıyorsa mobil sürümde, masaüstü sürümündeki bağlantıların aynısını sağlayın. Mobil sürümde aynı bağlantı grubunu sağlamak mümkün değilse bu bağlantıların bir site haritası dosyasına dahil edildiğinden emin olun. Google yalnızca sayfaların mobil sürümünü dizine ekler. Burada gösterilen bağlantıları sınırlamak, yeni sayfaların keşfedilmesini yavaşlatabilir.

Şunlardan kaçının:

  • Aynı site haritasını değiştirmeden günde birkaç kez göndermek.
  • Googlebot'un bir site haritasındaki her şeyi taramasını veya bunları hemen taramasını beklemek. Site haritaları mutlak gereksinimler değil, Googlebot için yararlı önerilerdir.
  • Arama'da görünmesini istemediğiniz URL'leri site haritalarınıza ekleme. Bunu yapmak, tarama bütçenizin dizine eklenmesini istemediğiniz sayfalarla harcanmasına neden olabilir.

Sitenizin tarama etkinliğini artırın

Sayfa yükleme hızınızı artırma

Google'ın taraması; bant genişliği, süre ve Googlebot örneklerinin kullanılabilirliği ile sınırlıdır. Sunucunuz isteklere daha hızlı yanıt verirse sitenizde daha fazla sayfa tarayabiliriz. Bununla birlikte, Google yalnızca yüksek kaliteli içeriği taramak istediğinden, sadece düşük kaliteli sayfaları daha hızlı hale getirmek Googlebot'u sitenizin daha büyük bir bölümünü taramaya teşvik etmez. Öte yandan, sitenizdeki yüksek kaliteli içeriği gözden kaçırdığımızı düşünürsek muhtemelen bu içeriği taramak için bütçenizi artırırız.

Sayfalarınızı ve kaynaklarınızı tarama için nasıl optimize edebileceğiniz aşağıda açıklanmıştır:

  • robots.txt dosyası kullanarak, büyük fakat önemsiz kaynakların Googlebot tarafından yüklenmesini önleyin. Yalnızca kritik olmayan kaynakları, yani sayfanın anlamını kavramak açısından önemli olmayan kaynakları (ör. süsleme amaçlı resimler) engellediğinizden emin olun.
  • Sayfalarınızın hızlı yüklendiğinden emin olun.
  • Taramayı olumsuz yönde etkileyen uzun yönlendirme zincirlerine dikkat edin.
  • Hem sunucu isteklerine yanıt verme süresi hem de sayfaları oluşturmak için gereken süre (resimler ve komut dosyaları gibi yerleşik kaynaklar için yükleme ve çalıştırma süresi dahil) önemlidir. Dizine ekleme için gereken büyük veya yavaş kaynaklara dikkat edin.

HTTP durum kodlarıyla içerik değişikliklerini belirtme

Google genellikle tarama için If-Modified-Since ve If-None-Match HTTP istek başlıklarını destekler. Google tarayıcıları, başlıkları tüm tarama denemeleriyle göndermez. Bu, isteğin kullanım alanına bağlıdır (örneğin, AdsBot'un If-Modified-Since ve If-None-Match HTTP istek başlıklarını ayarlama olasılığı daha yüksektir). Tarayıcılarımız If-Modified-Since başlığını gönderirse başlığın değeri, içeriğin son tarandığı tarih ve saat olur. Bu değere bağlı olarak sunucu, yanıt gövdesi olmadan bir 304 (Not Modified) HTTP durum kodu döndürmeyi tercih edebilir. Bu durumda Google, en son taradığı içerik sürümünü yeniden kullanır. İçerik, tarayıcının If-Modified-Since başlığında belirttiği tarihten daha yeniyse sunucu, yanıt gövdesi olan bir 200 (OK) HTTP durum kodu döndürebilir.

İstek başlıklarından bağımsız olarak, Googlebot'un URL'yi son ziyaretinden beri içerik değişmediyse Googlebot istekleri için yanıt gövdesi olmadan 304 (Not Modified) HTTP durum kodu gönderebilirsiniz. Bu şekilde, sunucunuzun işlem süresinden ve kaynaklardan tasarruf ederek tarama verimliliğini dolaylı olarak artırabilirsiniz.

Arama sonuçlarında görünmesini istemediğiniz URL'leri gizleme

Sunucu kaynaklarını gereksiz sayfalarda boşa harcamak, sizin için önemli olan sayfalardaki tarama etkinliğini azaltabilir. Bu da bir sitedeki yeni veya güncellenmiş iyi içeriklerin bir hayli geç keşfedilmesine neden olabilir.

Sitenizde Arama tarafından taranmasını istemediğiniz çok sayıda URL'nin gösterilmesi, sitenin taranmasını ve dizine eklenmesini olumsuz etkileyebilir. Bu URL'ler genellikle aşağıdaki kategorilere girer:

Şunları yapın:

  • Google'ın bir kaynağı veya sayfayı hiç taramamasını istiyorsanız robots.txt dosyasını kullanın.
  • Ortak bir kaynak birden fazla sayfada yeniden kullanılıyorsa (ör. paylaşılan bir resim veya JavaScript dosyası) Google'ın aynı kaynağı birden çok kez istemesine gerek kalmadan önbelleğe ekleyip yeniden kullanabilmesi için aynı URL'deki kaynağa başvurun.

Şunlardan kaçının:

  • Siteniz için tarama bütçesini yeniden tahsis etmek amacıyla robots.txt'ye düzenli olarak sayfa veya dizin ekleyip kaldırmayın. robots.txt dosyasını, yalnızca uzun vadede Google'da görünmesini istemediğiniz sayfalar veya kaynaklar için kullanın.
  • "Bütçeyi yeniden tahsis etmek" için site haritalarını dönüşümlü yayınlamayın veya diğer geçici gizleme mekanizmalarını kullanmayın.

soft 404 hataları

soft 404 hatası, bir URL isteğinde kullanıcıya, ilgili sayfanın mevcut olmadığını söyleyen bir sayfayla birlikte ayrıca 200 (success) durum kodunu döndürmesidir. Bazı durumlarda bu, ana içeriği olmayan veya boş olan bir sayfa olabilir.

Bu tür sayfalar, web sitenizin web sunucusu ya da içerik yönetim sistemi veya kullanıcının tarayıcısı tarafından çeşitli nedenlerle oluşturulabilir. Örneğin:

  • Eksik olan bir SSI dosyası.
  • Bozuk bir veritabanı bağlantısı.
  • Boş, dahili arama sonucu sayfası.
  • Yüklenmemiş veya başka nedenle kullanılamayan JavaScript dosyası.

200 (success) durum kodunu döndürüp ardından sayfada bir hata mesajı ya da bir tür hata olduğunu görüntülemek veya önermek kötü bir kullanıcı deneyimidir. Kullanıcılar, sayfanın yayında olan bir sayfa olduğunu düşünürken bir tür hata mesajıyla karşılaşır. Bu tür sayfalar Arama'ya dahil edilmez

Google'ın algoritmaları tarafından sayfanın içeriğine göre aslında bir hata sayfası olduğu algılandığında, Search Console, sitenin sayfa dizine ekleme raporunda bir soft 404 hatası gösterir.

soft 404 hatalarını düzeltme

Sayfanın durumuna ve istediğiniz sonuca bağlı olarak soft 404 hatalarını çeşitli yöntemlerle çözebilirsiniz:

Kullanıcılarınız için en iyi çözümün hangisi olduğuna karar verin.

Sayfa ve içerik artık mevcut değil

Sayfayı kaldırdıysanız ve sitenizde yerini alacak benzer içeriğe sahip sayfa yoksa kaldırılan sayfa için 404 (not found) veya 410 (gone) yanıt (durum) kodu döndürün. Bu durum kodları, arama motorlarına hem sayfanın mevcut olmadığını. hem de arama motorlarının sayfayı dizine eklemesini istemediğinizi belirtir.

Web sunucunuzun yapılandırma dosyalarına erişiminiz varsa bu hata sayfalarını özelleştirerek kullanıcılarınız için yararlı hale getirebilirsiniz. İyi bir özel 404 sayfası, kullanıcıların aradıkları bilgiyi bulmalarına yardımcı olur, ayrıca kullanıcıların sitenizi daha fazla keşfetmeye yönlendiren diğer faydalı içerikleri sağlar. Yararlı bir özel 404 sayfası tasarlamaya yönelik bazı ipuçları aşağıda verilmiştir:

  • Ziyaretçilere aradıkları sayfanın bulunamadığını açık bir dille belirtin. Arkadaşça ve davet edici bir dil kullanın.
  • 404 sayfanızda, sitenizin diğer bölümleriyle aynı görünümün kullanıldığından emin olun (gezinme dahil).
  • En popüler makalelerinizin veya postalarınızın bağlantılarıyla, sitenizin ana sayfasının bir bağlantısını ekleyin.
  • Kullanıcıların bozuk bağlantıları nasıl bildireceklerine dair bir yol düşünün.

Özel 404 sayfaları yalnızca kullanıcılar için oluşturulur. Bu sayfalar, arama motoru tarafından kullanılamaz. Bu nedenle, sayfaların dizine eklenmesini önlemek amacıyla sunucunun 404 HTTP durum kodunu döndürdüğünden emin olun.

Sayfa veya içerik artık başka bir yerde

Sayfanız taşındıysa veya sitenizde açık bir şekilde yenisiyle değiştirildiyse kullanıcıyı yönlendirmek için 301 (permanent redirect) döndürün. Bu, kullanıcının göz atma deneyimini kesintiye uğratmadığı gibi sayfanın yeni yerini arama motorlarına bildirmek için de iyi bir yoldur. URL'nizin gerçekten doğru kodu döndürüp döndürmediğini teyit etmek için URL denetleme aracını kullanın.

Sayfa ve içerik hâlâ mevcut

Sorunsuz bir sayfa soft 404 hatasıyla işaretlendiyse büyük olasılıkla Googlebot için düzgün şekilde yüklenmemiştir, kritik kaynaklar eksiktir veya oluşturma sırasında belirgin bir hata mesajı göstermiştir. Oluşturulan içeriği ve döndürülen HTTP kodunu incelemek için URL Denetleme aracını kullanın. Oluşturulan sayfanın büyük bölümü veya tamamı boşsa ya da içerikte bir hata mesajı varsa sayfanız yüklenemeyen birçok kaynağa (resimler, komut dosyaları ve metin dışı diğer öğeler) referans veriyor olabilir ve bu durum soft 404 olarak yorumlanabilir. Kaynakların yüklenememesinin çeşitli nedenleri vardır. Örneğin, engellenmiş kaynaklar (robots.txt tarafından engellenmiş), bir sayfada çok fazla kaynağın bulunması, çeşitli sunucu hataları ya da yavaş yüklenen/çok büyük kaynaklar gibi.

Sitenizin aşırı taranması sorununu giderme (acil durumlar)

Googlebot, tarama istekleriyle sitenizde aşırı yük oluşturmasını önleyen algoritmalara sahiptir. Ancak Googlebot'un sitenizde aşırı yük oluşturduğunu fark ederseniz yapabileceğiniz birkaç şey vardır.

Teşhis etme:

Sunucunuzu izleyerek sitenize Googlebot'tan çok fazla istek gelip gelmediğine bakın.

Sorunun çözümü:

Acil bir durumda, Googlebot'un aşırı yük oluşturan taramasını yavaşlatmak için aşağıdaki adımları uygulamanızı öneririz:

  1. Sunucunuzda aşırı yük oluştuğunda Googlebot istekleri için geçici olarak 503 veya 429 HTTP yanıt durum kodlarını döndürün. Googlebot yaklaşık 2 gün boyunca bu URL'leri yeniden taramayı dener. "Kullanılamıyor" kodlarını birkaç günden fazla döndürürseniz Google'ın sitenizdeki URL'leri taraması kalıcı olarak yavaşlar veya durur. Bu yüzden aşağıdaki ek adımları uygulayın.
  2. Tarama hızı düştüğünde, tarama istekleri için 503 veya 429 HTTP yanıtı durum kodları döndürmeyi bırakın; 503 veya 429 durum kodlarını 2 günden fazla döndürürseniz Google, söz konusu URL'leri dizinden çıkarır.
  3. Zaman içinde tarama ve ana makine kapasitenizi izleyin.
  4. Sorunlu tarayıcı AdsBot tarayıcılarından biriyse büyük olasılıkla sorun, siteniz için oluşturduğunuz ve Google'ın taramaya çalıştığı Dinamik Arama Ağı Reklamları hedefleridir. Bu tarama her 3 haftada bir yeniden gerçekleşir. Bu taramaları kaldırabilecek sunucu kapasitesiniz yoksa reklam hedeflerinizi sınırlandırmanız veya sunum kapasitesini artırmanız gerekir.