Google-Agent trafiğine izin verme

Google-Agent, web'de gezinmek ve kullanıcı isteği üzerine işlem yapmak için Google altyapısında barındırılan ajanlar tarafından kullanılan addır. İçerik yayınlama ağınızda (CDN), web uygulaması güvenlik duvarınızda (WAF) veya bot algılama hizmetinizde Google-Agent trafiğine açıkça izin vermek, mevcut güvenlik kontrollerinizi korurken meşru isteklerin engellenmesini önlemeye yardımcı olur.

Google-Agent'ın istekleri tanımlama şekli

Her Google-Agent isteği, "Google-Agent" içeren bir User-Agent HTTP isteği başlığı içerir (Google'ın kullanıcının tetiklediği alıcıları bölümüne bakın) ve user-triggered-agents.json dosyasındaki bir IP adresinden gelir.

Google, https://agent.bot.goog kimliğini kullanarak Web Bot Auth protokolü ile ilgili denemeler de yapmaktadır. Bu denemede Google, Google-Agent tarafından yapılan istekleri HTTP Mesaj İmzaları standardı (RFC 9421) ile imzalar. Kapsama dahil olan istekler şunlardır:

  • g="https://agent.bot.goog" olarak ayarlanmış bir Signature-Agent başlığı
  • g olarak etiketlenmiş Signature ve Signature-Input başlıkları

Bu imzaları doğrulamak için ayarlanan ortak anahtar kümesine https://agent.bot.goog/.well-known/http-message-signatures-directory adresinden ulaşabilirsiniz.

CDN, güvenlik duvarı veya bot algılama hizmetinizde trafiğe izin verme

Bazı bot algılama hizmetleri, CDN'ler ve güvenlik duvarları, Google-Agent kullanıcı aracısı tarafından yapılan istekleri doğrulamanın ve bu isteklere izin vermenin yollarını sunar. Tam adımlar için sağlayıcınıza başvurun.

Hizmetiniz Google-Agent isteklerini otomatik olarak doğrulamıyorsa aşağıdaki kuralları kullanarak istekleri doğrulayıp onlara izin vermeniz mümkün olabilir:

  • User-Agent başlığının Google-Agent içerdiğini onaylayın.
  • IP adresinin user-triggered-agents.json dosyasında yer aldığını onaylayın.
  • Sağlanmışsa Web Bot Auth'a göre Signature-Agent: g="https://agent.bot.goog" için Signature ve Signature-Input başlıklarını doğrulayarak imzalı isteği onaylayın.
  • Doğrulanmış istekler için bot sınamalarını atlayın.

Sorun giderme

Bu isteklere izin verdikten sonra meşru Google-Agent istekleri hâlâ engelleniyorsa:

  • Kural önceliği: İzin kuralınızın, doğrulanmış bir bot ayarını geçersiz kılabilecek kapsamlı bulut veya veri merkezi ASN engellemelerinden, yönetilen bot kurallarından ya da kategori düzeyindeki yapay zeka ajanı engelleme politikalarından daha yüksek önceliğe sahip olduğunu (ve bunlardan önce değerlendirildiğini) onaylayın.
  • Etkileşimli sınamalar: Kuralınızın, HTTP engellemelerinin yanı sıra etkileşimli CAPTCHA'ları ve JavaScript sınamalarını (arama veya form gönderimi sırasında tetiklenen bağımsız sayfa içi CAPTCHA widget'ları dahil) atladığını onaylayın.
  • Kullanıcı akışı işlemleri ve API'ler: Bu isteklere izin verilmesinin, ilk ana sayfa yüklemelerinin ötesindeki işlemleri (site içi arama, filtreleme, ayrıntılar sayfalarını tıklama, alışveriş sepetine ekleme, rezervasyon ve temel XHR, GraphQL veya api.* uç noktaları dahil) kapsadığını onaylayın.
  • Paylaşılan IP sıklık sınırları: Birden fazla kullanıcıdan gelen eşzamanlı istekler aynı çıkış havuzunu paylaştığından, IP başına sıklık sınırlaması kurallarının doğrulanmış Google-Agent IP aralıklarını hesaba kattığını veya muaf tuttuğunu onaylayın.
  • IP aralığı güncellemeleri: IP tabanlı kuralların, user-triggered-agents.json dosyasındaki en güncel aralıklarla senkronize kaldığını onaylayın.
  • Proxy başlıkları: Yük dengeleyicilerin ve ara proxy'lerin orijinal istemci IP'sini, User-Agent başlığını ve (imzalı istekler için) Signature, Signature-Input ve Signature-Agent başlıklarını koruduğunu onaylayın.