12 Ağustos 2019, Pazartesi
Arama motorumuz çoğu zaman düzgün çalışır. İnternette arama yapan kullanıcılarımızı veya sitelerini dizine ekleyip kullanıcılara sunduğumuz web yöneticilerini etkileyebilecek teknik sorunları önlemek için ekiplerimiz yoğun bir şekilde çalışıyor. Benzer şekilde, arama motorunu desteklemek için kullandığımız temel sistemler de çoğu zaman olması gerektiği şekilde çalışır. Yaşanan küçük aksaklıklar çoğunlukla, ürünlerimizin sorunsuz bir şekilde çalışmasını sağlayan ekiplerimiz dışında hiç kimse tarafından görülmez. Yine de tüm komplike sistemlerde olduğu gibi zaman zaman yaşanan kesintiler, hem kullanıcılarımız hem web sitesi sahipleri açısından aksaklıklara neden olabiliyor.
Geçtiğimiz aylarda dizine ekleme sistemlerimizde yaşanan benzer bir durum, altyapımızın diğer bazı bölümlerini de etkiledi. Hedefimiz kullanıcılarımıza ve web ekosistemine yüksek kaliteli ürünleri kesintisiz bir şekilde sağlamaktır. Durumu düzeltmek için mümkün olan en hızlı şekilde çalışmış olsak da yaşanan aksaklıktan ötürü özür dileriz.
Sonrasında dikkatli bir şekilde durumun üstüne eğildik. Bu esnada çıkardığımız bazı dersleri bugün sizinle paylaşmak istiyoruz. Bu blog yayınında söz konusu olayla ilgili ayrıntılı bilgiler vereceğiz, ileride bu gibi durumlar yaşanırsa daha iyi iletişim kurmak için neler planladığımızı paylaşacağız ve web sitesi sahiplerinin bize ulaşmak için kullanabileceği kanalların üzerinden geçeceğiz.
Birkaç ay önce ne olmuştu?
Nisan ayında dizinimizle ilgili birkaç sorun yaşadık. Arama dizini, web'de taradığımız ve bazı kullanıcılarımızın sorgularını yanıtlayabileceğini düşündüğümüz yüz milyarlarca web sayfasının bulunduğu veritabanıdır. Kullanıcılarımız Google arama motoruna bir sorgu girdiğinde sıralama algoritmalarımız, Arama dizinimizdeki bu sayfalar arasından en alakalı ve yararlı sonuçları göz açıp kapayıncaya kadar bulup getirir. Olayla ilgili ayrıntılı bilgileri aşağıda bulabilirsiniz.
1. Dizine ekleme sorunu
İlk olarak Arama dizininin bir kısmını geçici olarak kaybettik.
Bir dakika... Nasıl yani? "Dizinin bir kısmını kaybetmek" de ne demek? Böyle bir şey mümkün olabilir mi?
Temel olarak kullanıcılara arama sonuçları gösterilirken hizmetin hızını artırmak adına sorgular, Google Arama ürününü destekleyen en yakın veri merkezimize kadar "seyahat eder" ve arama motoru sonuçlar sayfası (SERP) burada oluşturulur. Bu nedenle dizinin yapısında değişiklikler olduğunda (eklenen ve çıkarılan sayfalar, birleştirilen dokümanlar veya verilerde farklı türden değişiklikler olması gibi) söz konusu veri merkezlerinin tümünde bu değişikliklerin yansıtılması gerekir. Bunun sonucunda dünyanın her yanından kullanıcılara düzenli bir şekilde dizinin en son sürümünden sayfalar sunulur.
Tüm bu veri merkezlerinde dizinin bütünlüğünü sağlamak oldukça kapsamlı bir görev. Kullanıcıya yönelik büyük ölçekli hizmetlerle ilgili güncellemelerin dağıtımı, tek bir veri merkezinden başlayıp kapsamın genişletilmesiyle ilgili tüm veri merkezleri güncellenene kadar sürebiliyor. Altyapının hassas kısımlarındaki güncellemelerin kullanıma sunulması ise farklı coğrafi bölgelerdeki örneklerin birbirine bağlanmasıyla birkaç güne yayılabiliyor. Kaynak
Bu şekilde planlanmış bazı değişikliklerin Arama dizinine aktarıldığı 5 Nisan tarihinde, üstelik bir Cuma günü, dağıtım sisteminin bazı bölümleri bozuldu. Ayrıntıya girmek gerekirse, bazı veri merkezlerimizde dizini güncellediğimiz bir sırada az sayıda doküman kaza eseri dizinden çıkmış oldu. "Dizinin bir kısmını kaybetmek"ten kastımız bu.
Neyse ki nöbetçi mühendislerimiz sorunu kısa sürede fark ettiler ve bu esnada sosyal medyada da bu konuyla ilgili konuşmalar görmeye başladık (o hafta sonu bizi uyaran herkese teşekkür ederiz). Sonuç olarak, sorunun fark edilmesinin ardından birkaç saat içinde tüm veri merkezlerinde Arama dizinini önceki kararlı durumuna geri döndürmeye başlayabildik (bu tür olayların yaşanması ihtimaline karşı dizinlerimizin yedekleri bulunuyor).
7 Nisan Pazar günü sorunun farkında olduğumuzu ve her şeyin normale dönmeye başladığını duyurduk. Veri merkezleri kademeli olarak stabil bir dizine geri dönerken, tüm veri merkezlerinin tam olarak dizinin eksiksiz bir sürümüne geçtiğinden emin olduğumuz 11 Nisan tarihine kadar (8 Nisan'da ve 9 Nisan'da) Twitter'dan güncel durumu paylaşmaya devam ettik.
2. Search Console sorunu
Search Console, her web yöneticisinin Arama'da web sitelerinin performansına ilişkin verilere erişmek için kullanabileceği araçlar ve raporlar grubudur. Örneğin, web sitesinin her gün organik arama sonuçlarında kaç gösterim ve tıklama aldığını ya da web sitesinin hangi sayfalarının Arama dizinine eklenip eklenmediğiyle ilgili bilgileri gösterir.
Yukarıda açıkladığımız sorunların Arama dizinini etkilemesi, Search Console'da da tutarsızlıklar görülmesine neden oldu. Çünkü Search Console'da gösterilen verilerin bir kısmı, doğrudan Arama dizininden alınır:
- Dizin Kapsamı raporu için, tüm veri merkezlerinde Arama dizininin tutarlı olması önem arz eder.
- Bir sayfayı Arama dizinine eklerken, ilgili girişte ek açıklama olarak sayfayla ilgili önemli sinyallere (örneğin, sayfada zengin sonuçlar işaretlemesi bulunması) yer verebiliyoruz. Bu nedenle Arama dizinindeki bir sorun, Search Console'daki Zengin Sonuçlar raporlarını etkileyebiliyor.
Temel olarak, Search Console raporlarının birçoğu özel bir veritabanından veri okur. Bu veritabanı kısmen, Arama dizininden gelen bilgiler kullanılarak oluşturulur. Arama dizininin önceki bir sürümüne dönmemiz gerektiğinden Search Console veritabanının güncellenmesini de duraklatmamız gerekti. Bu durum bazı raporlar için veri akışının durmasına (ve URL denetleme aracı gibi diğer bazı raporlarda tutarsızlıklara) yol açtı.
Arama dizininde yaşanan sorunun geri çekilmesi birkaç gün sürdü (yukarıdaki açıklamayı okuyun) ve bu sırada dizine ekleme sorunları düzeltilene kadar Search Console veri tabanının düzeltilmesine odaklanamadık. 15 Nisan tarihinde paylaştığımız Tweet ile Search Console'da sorun yaşandığını ve bu sorunu düzeltmek için çalışmalarımızı sürdürdüğümüzü bildirdik. Raporların tekrar yeni veriler toplamaya başladığı 28 Nisan gününde (yukarıdaki grafiği inceleyin) düzeltme çalışmalarımızı tamamladık ve sorunu çözdüğümüzü 30 Nisan tarihinde Twitter'dan duyurduk. Tweet.
3. Asıl dizine ekleme hatasıyla ilgisi olmayan diğer sorunlar
Google Arama, bir arada çalışan bir dizi sistemle desteklenir. Bu sistemlerin bazıları bir diğeriyle sıkı bir şekilde bağlı olsa da bazı durumlarda sistemin farklı bölümlerinde aynı anlarda alakasız sorunlar yaşanır.
Bu olaydan örnek verecek olursak, yukarıda açıkladığımız asıl dizine ekleme hatasıyla aynı anlarda Google Haberler için yeni içeriklerin toplanmasında da küçük çaplı sorunlar yaşadık. Bir yandan da sayfaların oluşturulması sırasında bazı URL'ler, Googlebot'u alakasız başka sayfalara yönlendirmeye başladı. Dizine ekleme hatasıyla hiçbir ilgisi olmayan bu sorunlar hızlıca çözüme kavuşturuldu (1. Tweet ve 2. Tweet).
İletişimimiz ve bu konuda planladığımız iyileştirmeler
Bu birkaç hafta boyunca sosyal medyadan kurduğumuz iletişimin (yukarıda belirtildiği gibi) yanı sıra, Search Console ve Search Console Yardım Merkezi olmak üzere 2 farklı kanal üzerinden de web yöneticilerine daha ayrıntılı bilgiler aktardık.
Search Console Yardım Merkezi'nde
Sorunun tümüyle tanımlanmasının ardından "Search Console'daki veri anormallikleri" yardım sayfamızı güncelledik. Bu sayfa, Search Console hizmetimizde çok sayıda web sitesi sahibini etkileyen veri kesintileriyle ilgili bilgi aktarmak amacıyla kullanılır.
Search Console'da
Tüm kullanıcılarımızın sosyal medyayı veya harici Yardım Merkezi sayfasını okumadığını bildiğimizden, Search Console raporlarında ek açıklamalar üzerinden kullanıclılara verilerde tutarsızlık olabileceğini bildirdik (aşağıdaki resme bakın). Bu bilgiyi hataların düzeltilmesinin ardından ekledik. "Daha fazla bilgi için buraya bakın"ı tıklayan kullanıcılar Yardım Merkezi'ndeki "Veri Anormallikleri" sayfasına yönlendirilir.
Gelecekteki iletişimimiz
Google'da bir şeyler ters gittiğinde köklü "olay değerlendirmesi" kültürümüz doğrultusunda, sorun hakkında bilgilendirme sağlayan bir doküman oluşturup bir daha yaşanmasının önüne geçmeye çalışırız. Bu sürecin tamamı Google Site Güvenilirliği Mühendisliği web sitesinde ayrıntılı olarak açıklanmaktadır.
Nisan ayındaki dizine ekleme sorunlarının ardından yürüttüğümüz olay değerlendirmesi çalışmasında, geniş çaplı sistem arızaları olması halinde web yöneticileriyle nasıl daha iyi iletişim kurabileceğimiz konusunu ele aldık. Aldığımız önemli kararları aşağıda görebilirsiniz:
- Geniş çaplı hatalarla ilgili bilgileri Search Console'un içinde daha hızlı paylaşmanın yollarını araştırıp bu bilgilerin, kesintilerden şüphelenen web yöneticilerinin kontrol edeceği birincil referans noktası olarak kullanılmasını sağlamak.
- Search Console ile ilgili durumları (aksaklığın uzun vadede Search Console verilerinde görüleceği durumlarda) Search Console veri anormallikleri sayfasına daha hızlı bir şekilde yayınlamak.
- Durumun farkında olduğumuzu ve sorunun bizim tarafımızda yaşandığını web yöneticilerine hızla bildirmek amacıyla bu gibi sorunlar hakkında en hızlı şekilde Tweet atmayı sürdürmek.
Bu kararların uygulanmasıyla, ileride yaşanabilecek benzer durumların web yöneticileri açısından bütünüyle daha şeffaf hale geleceğini düşünüyoruz.
Kararlarımızı uygulamaya geçiriyoruz: "Yeni URL'lerin dizine eklenmemesi" örnek olayı
22 Mayıs'ta yaşadığımız başka bir sorunda yeni iletişim stratejimizi test ettik. Neler oldu: Altyapının planlı bir şekilde yeni sürüme geçirilmesinin ardından, bazı URL'lerin işlenmesi sırasında kopya yönetimi sistemimizin belleğinin dolması nedeniyle tüm gelen URL'lerin işlenmesi kesintiye uğradı.
Yukarıda vurguladığımız 3 konuyu göz önünde bulundurarak iletişim sürecimizi aşağıdaki zamanlamayla yürüttük:
-
Sorunu tespit ettik (Kaliforniya saatiyle 22 Mayıs 05:30 sularında)
Süregelen sorun hakkında Tweet attık (Kaliforniya saatiyle 22 Mayıs 06:40 sularında)
Çözüm hakkında Tweet attık (Kaliforniya saatiyle 22 Mayıs 22:00 sularında) - Yardım Merkezi'ndeki "Veri Anormallikleri" sayfasını güncellemeyi düşündük ancak web yöneticilerinin çoğunun Search Console verilerinde uzun vadeli bir etki beklemediğimiz için bunu yapmamaya karar verdik.
- Bu sorunun birçok kişi açısından kafa karışıklığına yol açması, sistemlerimizden birinde web yöneticilerini etkileyebilecek bir aksaklık olabileceğini doğrudan Search Console'un içinde daha net bir şekilde bildirmemiz gerektiğini doğrulamış oldu. Böyle bir çözümün hayata geçmesi daha uzun sürebilir. Paylaşacağımız haberler olduğunda bu konu hakkında tekrar iletişim kuracağız.
Geçen hafta dizine eklemeyle ilgili başka bir sorun yaşadık. 22 Mayıs'ta olduğu gibi, bir sorun yaşandığını, sorunu düzeltmek için çalıştığımızı ve sorunu çözüme kavuşturduğumuzu Tweet atarak kullanıcılara bildirdik.
Hata ayıklama ve bizimle iletişime geçme
Bu yayında, sistemlerimizin oldukça karmaşık ve zaman zaman bozulabilecek yapıda olduğuna açıklık getirmeyi ve bu konular hakkında nasıl iletişim kurduğumuzu anlamanızı kolaylaştırmayı amaçladık. Bu yayında sistemlerimizdeki geniş çaplı arızaları konu almış olsak da, web sitelerinin yapılandırma ayarları Google Arama'nın ilgili web sitesini doğru şekilde dizine eklemesini zorlaştırabilir ve dizine eklemeyle ilgili sorunlar çoğunlukla web sitesinin yapılandırılmasından kaynaklanmaktadır. Böyle bir durumda tüm web yöneticileri hata ayıklamak için Search Console'u ve Yardım Merkezimizi kullanabilirler. Bunu yaptıktan sonra sorunun sitenizden kaynaklanmadığını düşünüyorsanız veya sorunu nasıl çözeceğinizi bilmiyorsanız bizimle ve topluluğumuzla iletişime geçin. Her zaman kullanıcılarımızdan geri bildirim almak isteriz. Sorunu bize şu yollardan bildirebilirsiniz:
- Web Yöneticisi Topluluğumuzu inceleyin. Bazen diğer web yöneticileri, sizin sitenizi de etkileyen bir soruna dikkat çekmiş olabilirler.
- Yüz yüze. Bağ kurmayı seviyoruz. Etkinliklere katılıp bizimle sohbet edin.
- Ürünlerimizin içinden. Search Console geri bildirim aracı ekiplerimiz için çok faydalıdır.
- Twitter ve YouTube.