Google tarayıcılarına ve getirme araçlarına genel bakış (kullanıcı aracıları)
Google, otomatik olarak veya kullanıcı isteği üzerine tetiklenen ürünleriyle ilgili işlemler gerçekleştirmek için tarayıcıları ve getirme araçlarını kullanır.
Bazen "robot" veya "örümcek" olarak da anılan "tarayıcı", bir web sayfasından diğerine giden bağlantıları izleyerek web sitelerini otomatik olarak keşfedip taramak için kullanılan tüm programlara verilen genel isimdir. Google'ın ana tarayıcısına Googlebot adı verilir.
Tarayıcılar gibi getirme araçları, kullanıcı tarafından istendiğinde tek bir URL isteğinde bulunan araçlardır.
Aşağıdaki tablolarda, çeşitli ürün ve hizmetler tarafından kullanılan Google tarayıcıları ve getirme araçları, yönlendiren günlüklerinizde bunları nasıl görebileceğiniz ve bunların robots.txt dosyasında nasıl belirtileceği listelenmektedir.
-
Kullanıcı aracısı jetonu, robots.txt dosyanızdaki
User-agent:satırında, siteniz için tarama kuralları yazılırken tarayıcı türüyle eşleştirme yapmak için kullanılır. Bazı tarayıcıların tabloda gösterildiği gibi birden fazla jetonu vardır; bir kuralı uygulamak için yalnızca bir tarayıcı jetonunun eşleşmesi yeterlidir. Bu liste tam olmasa da web sitenizde görebileceğiniz tarayıcıların çoğunu kapsamaktadır. - Tam kullanıcı aracısı dizesi, tarayıcının tam açıklaması olup HTTP isteğinde ve web günlüklerinizde görünür.
Yaygın kullanılan tarayıcılar
Google'ın yaygın kullanılan tarayıcıları; Google'ın arama dizinlerini oluşturmak, ürüne özgü diğer taramaları gerçekleştirmek ve analiz yapmak için kullanılır. Robots.txt kurallarına her zaman uyarlar ve genellikle googlebot.json nesnesinde yayınlanan IP aralıklarından tarama yaparlar.
| Yaygın Kullanılan Tarayıcılar | |||||
|---|---|---|---|---|---|
Googlebot Akıllı Telefon |
|
||||
Googlebot Masaüstü |
|
||||
Googlebot Görsel |
Google Görseller ve görsel içeren ürünlerin resim baytlarını tarama amacıyla kullanılır.
|
||||
Googlebot News |
Googlebot-News, haber makalelerini taramak için Googlebot'u kullanır, ancak geçmiş
kullanıcı aracısı jetonuna (
|
||||
Googlebot Video |
Google Video ve video içeren ürünlerin video baytlarını tarama amacıyla kullanılır.
|
||||
Google Favicon |
|
||||
Google StoreBot |
Google Storebot; ürün ayrıntıları sayfaları, alışveriş sepeti sayfaları ve ödeme sayfaları da dahil ancak bunlarla sınırlı olmamak üzere belirli sayfa türlerini tarar.
|
||||
|
|
||||
|
Sitelerden herkese açık içerikleri getirmek için çeşitli ürün ekipleri tarafından kullanılabilecek genel tarayıcı. Örneğin, dahili araştırma ve geliştirme çalışmalarına yardımcı olması amacıyla tek seferlik taramalar için kullanılabilir.
|
||||
Özel durum tarayıcıları
Özel durum tarayıcıları, taranan site ile ürün arasında tarama işlemi hakkında anlaşmaya varılan
belirli ürünler tarafından kullanılır. Örneğin AdsBot, reklam yayıncısının
izniyle genel robots.txt kullanıcı aracısını (*) yoksayar. Özel
durum tarayıcıları, robots.txt kurallarını yoksayabilir ve bu nedenle, yaygın olarak kullanılan tarayıcılardan farklı bir IP
aralığında çalışır. IP aralıkları, special-crawlers.json
nesnesinde yayınlanır.
| Özel durum tarayıcıları | |||||
|---|---|---|---|---|---|
APIs-Google |
Google API'leri tarafından push bildirimi mesajları göndermek için kullanılır. Robots.txt dosyasındaki genel
kullanıcı aracısını (
|
||||
AdsBot Mobil Web Android |
Android web sayfası reklam kalitesini kontrol eder.
Robots.txt dosyasındaki genel kullanıcı aracısını (
|
||||
AdsBot Mobil Web |
iPhone web sayfası reklam kalitesini kontrol eder.
Robots.txt dosyasındaki genel kullanıcı aracısını (
|
||||
AdsBot |
Masaüstü web sayfası reklam kalitesini kontrol eder.
Robots.txt dosyasındaki genel kullanıcı aracısını (
|
||||
AdSense |
AdSense tarayıcısı, alakalı reklamları sunmak için içeriğini belirlemek üzere sitenizi ziyaret eder. Robots.txt dosyasındaki genel kullanıcı aracısını (
|
||||
Mobil AdSense |
Mobil AdSense tarayıcısı, içeriğini belirlemek için sitenizi ziyaret ederek alakalı
reklamlar sunar. Robots.txt dosyasındaki genel kullanıcı aracısını (
|
||||
Kullanıcı tarafından tetiklenen getirme araçları
Kullanıcı tarafından tetiklenen getirme araçları, ürüne özel bir işlevin gerçekleştirilmesi için tetiklenir. Örneğin, Google Site Doğrulayıcı bir kullanıcının isteği üzerine işlem yapar. Getirme, bir kullanıcı tarafından istendiğinden bu getirme araçları genellikle robots.txt kurallarını yoksayar. Kullanıcı tarafından tetiklenen getirme araçlarının kullandığı IP aralıkları, user-triggered-fetchers.json nesnesinde yayınlanır.
| Kullanıcı tarafından tetiklenen getirme araçları | |||||
|---|---|---|---|---|---|
Feedfetcher |
Google Podcasts, Google Haberler ve PubSubHubbub'a ait RSS ya da Atom feed'lerini taramak için Feedfetcher kullanılır.
|
||||
Google Yayıncı Merkezi |
Google Haberler açılış sayfalarında kullanılmak üzere Yayıncıların Google Yayıncı Merkezi aracılığıyla açıkça sağladığı feed'leri getirerek işler.
|
||||
Google Read Aloud |
Google Read Aloud, kullanıcı isteği üzerine metin okuma (TTS) işlevini kullanarak web sayfalarını getirir ve okur.
|
||||
Google Site Doğrulayıcı |
Google Site Doğrulayıcı, kullanıcı isteği üzerine Search Console doğrulama jetonlarını getirir.
|
||||
Kullanıcı aracılarındaki Chrome/W.X.Y.Z ile ilgili bir not:
Tablodaki kullanıcı aracısı dizelerinde Chrome/W.X.Y.Z ifadesini gördüğünüz her yerde, W.X.Y.Z aslında kullanıcı aracısı tarafından kullanılan Chrome tarayıcının sürümünü temsil eden yer tutucudur: Örneğin, 41.0.2272.96. Googlebot tarafından kullanılan en son Chromium sürümüyle eşleşmesi için bu sürüm numarası zaman içinde artar.
Bu sürüm numarası kalıbına sahip bir kullanıcı aracısı için günlüklerinizde arama yapıyor veya sunucunuzu filtreliyorsanız, sürüm numarasını tam olarak belirtmek yerine joker karakterler kullanın.
Robots.txt dosyasındaki kullanıcı aracıları
Robots.txt dosyasında çeşitli kullanıcı aracıları tanınsa da Google en belirgin olanı izler. Google'ın tüm sayfalarınızı tarayabilmesini istiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Google'ın tarayıcılarının içeriğinizin bir kısmına erişimini engellemek veya buna izin vermek istiyorsanız bunu yapmak için Googlebot'u kullanıcı aracısı olarak belirtebilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini ve AdSense reklamlarının sayfalarınızda görünmesini istiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Benzer bir şekilde, Google'ın bazı sayfalara erişimini toplu olarak engellemek istiyorsanız Googlebot kullanıcı aracısını engellediğinizde, Google'ın diğer tüm kullanıcı aracıları da engellenir.
Ancak, daha hassas bir denetime sahip olmak isterseniz daha kesin davranabilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini istiyor, ancak kişisel dizininizdeki resimlerin taranmasını istemiyor olabilirsiniz. Bu durumda, Googlebot-Image kullanıcı aracısının kişisel dizininizdeki dosyaları taramaması (ancak Googlebot'un diğer tüm dosyaları taramasına izin vermek) için robots.txt kullanın. Örneğin:
User-agent: Googlebot Disallow: User-agent: Googlebot-Image Disallow: /personal
Başka bir örneği ele alırsak tüm sayfalarınızda reklamların bulunmasını istediğinizi, ancak bu sayfaların Google Arama'da görünmesini istemediğinizi düşünelim. Burada, Googlebot'u engelleyebilir, Mediapartners-Google kullanıcı aracısına aşağıda gösterildiği şekilde izin verebilirsiniz:
User-agent: Googlebot Disallow: / User-agent: Mediapartners-Google Disallow:
Tarama hızını kontrol etme
Her Google tarayıcısı, sitelere belirli bir amaç doğrultusunda ve farklı hızlarda erişir. Google, her sitedeki en iyi tarama hızını belirlemek için algoritmalar kullanır. Bir Google tarayıcısı sitenizi çok sık tarıyorsa tarama hızını azaltabilirsiniz.
Kullanımdan kaldırılan Google tarayıcıları
Aşağıdaki Google tarayıcıları artık kullanılmamakta olup yalnızca geçmişe dönük referans olması için burada belirtilmiştir.
| Kullanımdan kaldırılan Google tarayıcıları | |||||
|---|---|---|---|---|---|
Duplex on the web |
Duplex on the web hizmetini destekliyordu.
|
||||
Web Light |
Bir kullanıcı, uygun koşullar altında aramada sayfanızı tıkladığında
|
||||
Mobil Uygulamalar Android |
Android uygulama sayfası reklam kalitesini kontrol eder.
|
||||