21 Eylül 2020, Pazartesi
Geçtiğimiz yıl, üretim sistemlerimizde kullandığımız robots.txt ayrıştırıcı ve eşleştiriciyi açık kaynak dünyasına yayınladık. Ardından, geliştiricilerin bununla yeni araçlar geliştirdiklerini ve açık kaynak kitaplığına katkı sağladıklarını (Üretim sistemlerimizin iyileştirilmesinde etkin bir rol oynayan bu katkılar için teşekkür ederiz.) gördük. Ayrıca, golang ve rust gibi yeni dillerde sürümlerinin oluşturulması, geliştiricilerin yeni araçlar geliştirmesini kolaylaştırdı.
Google'ın staj dönemi bitmek üzereyken, Arama Açık Kaynak Ekibi'nde çalışan Andreea Dutulescu ve Ian Dolzhanskii adlı iki stajyer sayesinde hayata geçirilen, robots.txt ile ilgili iki yeni sürüme dikkat çekmek istiyoruz.
Robots.txt spesifikasyon testi
İlk olarak, robots.txt ayrıştırıcı geliştiricileri için Andreea tarafından oluşturulan bir test çerçevesini yayınlıyoruz. Bu proje robots.txt ayrıştırıcılarının robot hariç tutma protokolünü izleyip izlemediğini veya ne ölçüde izlediğini doğrulayabilen bir test aracı sağlıyor. Şu anda ayrıştırıcıların doğruluğunu değerlendirmenin resmi ve kapsamlı bir yolu olmadığından Andreea, protokolü izleyen robots.txt ayrıştırıcıları oluşturmak için kullanılabilecek bir araç geliştirdi.
Java robots.txt ayrıştırıcı ve eşleştirici
İkinci olarak, Ian tarafından oluşturulan, C++ robots.txt ayrıştırıcının resmi Java bağlantı noktasını yayınlıyoruz. Java'nın GitHub'daki en popüler 3. programlama dili olması ve Google'da da yaygın şekilde kullanılması, neden en çok talep edilen dil bağlantı noktası olduğunu açıklıyor. İşlevler ve davranış açısından C++ ayrıştırıcının bire bir çevirisi olan ayrıştırıcı, geniş çaplı bir robots.txt kural derlemesi karşısında denklik açısından kapsamlı bir şekilde test edildi. Ekiplerimiz Java robots.txt ayrıştırıcıyı Google üretim sistemlerinde kullanmayı şimdiden planlarına eklediler. Sizin de bu aracı faydalı bulacağınızı umuyoruz.
Her zaman olduğu gibi, bu projelere sağlayacağınız katkılara açığız. C++ robots.txt ayrıştırıcı ile veya bu yeni sürümlerle bir şeyler geliştirdiğinizde bize haber verirseniz çalışmanızı duyurmanıza yardımcı olabiliriz. Projelerde bir hata bulduysanız GitHub'da sorun kaydı açarak veya doğrudan pull isteği ile katkı sağlayarak düzeltmemize yardımcı olabilirsiniz. Bu projelerle ilgili sorularınız veya yorumlarınız varsa bizi Twitter'da bulabilirsiniz.
Andreea ve Ian'ı ağırlamaktan gerçekten keyif aldık ve stajlarının bitmesine üzülüyoruz. Yaptıkları katkılar internetin daha iyi bir yer olmasına yardımcı oluyor. İleride kendilerini Google'da yeniden görmeyi umuyoruz.