11 Kasım 2026 Çarşamba
Sitenizin öğelerini dünya genelinde kullanıcılara daha yakın konumlarda bulunan hızlı uç sunucular üzerinden sunmak için bir içerik yayınlama ağı (CDN) kullanmak, büyüyen her site için önemli bir adım olabilir. Bu sayede ziyaretçilerin yaşadığı gecikme azalır ve kaynak sunucunuz (özgün içeriğinizi barındıran, asıl verinin tutulduğu arka uç doğruluk kaynağı) yoğun trafikten korunur.
Kulağa mükemmel geliyor değil mi? Ancak geçiş aşaması biraz tuhaf olabilir.
Site sahiplerinden bazen sitelerini CDN üzerinden sunmaya başladıktan hemen sonra sunucularına gelen tarayıcı trafiğinin aniden arttığını duyuyoruz. Oysa çözmeye çalıştıkları sorun tam olarak bu. Uç sunucuların önbellekleri dolana kadar hem kullanıcı ziyaretlerinde hem de tarayıcı isteklerinde içerik hâlâ doğrudan kaynak sunucudan getirilmek zorundadır.
CDN'ye geçerken hem tarama bütçesinin nasıl çalıştığını hem de acil durumlarda Google'ın tarama hızının nasıl azaltılacağını incelemek faydalı olur. Bu blog yayınında, böyle bir geçişte sizi nelerin beklediğini ve karşılaşabileceğiniz bazı zorlukları ele alıyoruz. İşte bu nedenle The Non-Canonical Cabinet'in 5. bölümünde, geçiş sürecinde size yol göstermek için baretimizi takıp yangın hortumumuzu kuşandık. Daha önce CDN'ye geçip ortaya çıkan tüm bu yeni trafiğin nedenini merak ettiyseniz veya sitenizin yanlışlıkla Arama'dan çıkmasına yol açmak istemiyorsanız bu içerik tam size göre.
Peki neden her şey aynı anda her yerde taranıyor?
CDN'ye geçtiğinizde tarayıcı trafiğinde yaşanan bu artış, Google'ın tarama altyapısının sitenizin tarama kapasitesi sınırını (ana makine yükü olarak da bilinir) hesaplama şeklinden kaynaklanabilir:
- Yanıtların giderek yavaşlaması tarama hızını düşürür. Google'ın otomatik tarama altyapısı, ana makine sunucunuzun durumunu ve yanıt verme hızını sürekli izler. Yanıt süreleri arttığında tarayıcılarımız, sunucunuzun aşırı yüklenmesini ve sitenizdeki kullanıcı deneyiminin olumsuz etkilenmesini önlemek için yavaşlar.
- Hızlı ve istikrarlı yanıtlar, tarama işlemini hızlandırır. Bir sunucu hızlı ve tutarlı bir şekilde yanıt verdiğinde sistemlerimiz bu hızı, altyapının sağlıklı ve yeterli kapasiteye sahip olduğunun bir işareti olarak yorumlar. Tarama talebi olduğu sürece tarama kapasitesi sınırı kademeli olarak artar.
DNS'niz hızlı bir CDN uç ağına işaret ettiği anda bağlantı ve yanıt süreleri önemli ölçüde düşer. Tarama sistemlerimiz bunu, sunucunuzun donanımında büyük bir yükseltme yapılmış gibi algılar. Bu nedenle tarayıcılarımız, istek oranlarını da buna göre artırmaya başlar.
Sorun: Uç sunuculardaki "önbellekte yok" durumu.
CDN, tüm bu istekleri uç sunucularda karşılasaydı tarama hızının artması sorun olmazdı. Ancak yeni bir CDN, boş (soğuk) bir önbellekle başlar.
Uç konumdaki URL için ilk kez istek yapıldığında CDN'de söz konusu öğenin (HTML belgeleri, CSS, JavaScript, resimler vb.) kopyası henüz bulunmaz. Buna önbellekte yok durumu denir. İsteği karşılamak için uç sunucunun, kaynak sunucunuza kadar "gitmesi", yanıtı getirmesi, kendisi için önbelleğe alınabilir bir kopya saklaması ve ardından istemciye sunması gerekir. Ancak önbelleğe alınmış aynı URL için yapılan sonraki isteklerde önbellek isabeti oluşur. Bu istekler, kaynak sunucunuza başvurulmadan doğrudan uçtan sunulur. (Videomuzda uç sunucuyu, sürekli bir yapışkan not yığınına gidip gelen plastik tavuk temsil ediyordu. Ağ diyagramları özneldir.)
Kısacası, CDN'ye geçiş sırasındaki asıl performans sorunu hâlâ kaynak sunucudur.
Gerçek kullanıcıların ziyaretleri genellikle az sayıda popüler sayfada (ana sayfanız, en popüler makaleleriniz veya etkin promosyonlarınız) yoğunlaşır. Bu sayfaların CDN önbelleği hızla ısınır. Tarayıcılar ise tam tersini yapar. Görevleri, URL envanterinizin tamamını sistematik olarak keşfetmektir.
Şimdi bu iki davranışı birleştirin:
- Uç sunuculardan gelen hızlı yanıtlar, Google tarayıcılarına daha hızlı tarama yapmanın güvenli olduğunu bildirir.
- Tarayıcılar bu kadar çok sayıda URL'yi ilk kez tararken önbelleğe alınmamış her URL'de bir önbellekte yok durumu tetikler ve bu da doğrudan kaynak sunucunuza iletilir.
Tarayıcılar, tarama hızlarını bir anda artırmaz. Ayrıca birçok CDN'de ani trafik artışlarını dengelemeye yardımcı olan yerleşik bağlantı ilerleme hızı özellikleri bulunur. Yine de uç önbellekleriniz dolana (ısınana) kadar CDN'niz henüz kalkan görevi görmez. İşin büyük kısmını hâlâ kaynak sunucunuz üstlenir.
Sakın tarayayım deme: Genel bot korumasının aşırıya kaçtığı durumlar
Taşıma işleminin hemen ardından kaynak sunucu günlüklerinde otomatik isteklerin beklenmedik şekilde arttığını görmek, nedenini bilmeyen yöneticileri doğal olarak endişelendirebilir. Önbellek ısınırken istek grafiklerindeki ani artışı görünce CDN kontrol paneline girip genel bot korumasını açarak sorunu çözmeye çalışmak cazip gelebilir. Cherry'nin de dediği gibi, "BOTLAR BURADAN GEÇEMEZ."
Genel güvenlik kurallarının sorunu adında gizlidir: İstisna tanımlanmadığında tüm otomatik trafiğe aynı şekilde davranırlar. Buna, önem verdiğiniz tarayıcılardan gelen trafik de dahildir. Bir CDN veya web uygulaması güvenlik duvarı (WAF), otomatik istekleri işaretleyip karşılarına CAPTCHA gibi bir doğrulama çıkardığında Google tarayıcıları bu testi geçemez. (Googlebot'un birçok yeteneği olsa da trafik ışıklarını ve tavukları ayırt etmek bunlardan biri değildir. Hatta bu testleri bazen Gary bile çözemiyor.)
Doğrulanmış tarayıcıları muaf tutmadan genel bot korumasını açık bırakmak, tarayıcıların bir hata sayfasında takılıp kalmasına neden olur. Bu sayfa, Arama veya taranan verileri kullanan diğer ürünler için faydasızdır. Bizim açımızdan, web siteniz kasıtlı olarak kısıtlanmış veya bozuk görünür. Bu koruma açık kalırsa tarayıcılarımız geri çekilir. Sayfalarınız, ürün bilgileriniz ve tavuk resimleriniz Arama'dan çıkmaya başlar.
CDN'nizi eğitme (kaynak sunucunuzu yakmadan)
Bir CDN dağıtmak için itfaiye şefi çalıştırmanız gerekmez. Gerçekçi beklentilere ve aşağıdaki gibi bir yol haritasına ihtiyacınız vardır:
- Botları engellemeniz gerekiyorsa CDN ve güvenlik duvarı ayarlarınızda doğrulanmış botlara izin verin. Çoğu büyük CDN ve WAF'ta, bilinen/doğrulanmış botlara izin vermek için yerleşik bir açma/kapatma düğmesi ya da yönetilen kural bulunur. Böylece istenmeyen trafik filtrelenmeye devam ederken tercih ettiğiniz tarayıcılar CAPTCHA doğrulamalarını atlayabilir (tarayıcılarımızı Google'ın yayınladığı IP aralıklarından tanıyabilirsiniz). Daha da iyisi, tüm otomatik istemcileri engellemek yerine robots.txt dosyanızı yapılandırabilir veya belirli istenmeyen botları hedeflemek için kurallar kullanabilirsiniz.
- Tüm trafiğe izin vermeden önce önbelleklerinizi ısıtın. Tüm trafiği yeni CDN üzerinden yönlendirmeden önce en çok trafik alan sayfalarınız, yakında yoğun trafik alması beklenen sayfalar (ör. promosyon veya sezonluk lansman sayfaları) ve en sık taranan URL'lerinizi CDN üzerinden kontrollü bir hızda programatik olarak getirin. Böylece uç önbellekler, trafiği sunmaya hazır olur. Gary'nin aksine arkadaş çevresi olan biriyseniz onlardan iki farklı URL'ye erişmesini de isteyebilirsiniz. Bu yaklaşım da işe yarar.
-
Geçici bir frene ihtiyacınız varsa
429veya503kullanın. Önbellekler ısınırken tarama hacmi, kaynak sunucunuzda hâlâ kritik düzeyde yük oluşturuyorsa sunucunuzu veya CDN sıklık sınırlaması kurallarınızı kısa bir süre için (birkaç saat veya en fazla 1-2 gün)429 (Too Many Requests)ya da503 (Service Unavailable)HTTP durum kodu döndürecek şekilde yapılandırın. Bunun nasıl yapılacağı, Google'ın tarama hızını acilen azaltma kılavuzumuzda açıklanmaktadır.
Özet (Özet Sona mı Koyulur?)
Sunucu dolabının etrafına bir ethernet kablosu sarıp iş bitti demeden önce CDN'ye geçiş sürecinde şu üç noktayı aklınızda tutun:
- Daha hızlı yanıtlar, daha hızlı tarama anlamına gelir: CDN uç sunucularındaki düşük gecikme, Google tarayıcılarına sitenizin iyi durumda olduğunu ve daha yüksek bir tarama hızını kaldırabileceğini bildirir.
- Önbellekler sizi ancak ikinci ziyarette korur: Soğuk bir önbellekte, her benzersiz URL için yapılan ilk istekte "önbellekte yok" durumu yaşandığından istek doğrudan kaynak sunucunuza gider. Mümkün olduğunda önbelleklerinizi önceden ısıtın.
-
Gerekirse doğrulanmış tarayıcıları bot doğrulamalarından muaf tutun:
Genel WAF veya CAPTCHA kurallarının, Google tarayıcılarını
403duvarları ya da doğrulama sayfalarıyla engellemesine izin vermeyin. Doğrulanmış botlar için muafiyet tanımlayın ve kaynak sunucunuzun gerçekten soluklanmaya ihtiyacı varsa geçici429veya503yanıtlarından yararlanın.
Eğlenmediniz mi? Bölümü izleyin.
The Non-Canonical Cabinet'in 1. sezon finalini (5. bölüm) izleyin. Ağ mimarisini plastik bir baret, dumanı tüten bir dosya dolabı ve uç sunucu rolünü üstlenen plastik bir tavuk kullanarak açıklıyoruz. Bunların hiçbiri orijinal iş tanımlarımızda kesinlikle yer almıyordu.
1. sezonun tamamını izlemek ister misiniz? URL'leri ve robots.txt dosyasını bozmaya çalıştık. 404 hataları ve yönlendirmeler
hakkında
bol bol konuştuk.
5 bölümün tamamını izleyin.
Tavuğa doyacağınızı garanti ediyoruz.
Gelecek sezon (bütçemiz elverirse), biraz kızarmış dolabımızdan çıkarıp ele almamızı istediğiniz tuhaf bir uç durum var mı? Videoya yorumlarınızı bekliyoruz.
Önbelleklerinizi sıcak, güvenlik duvarlarınızı düzenli tutmayı, lastik tavuklarınızı da patpata sarmayı unutmayın.