Google-Agent trafiğine izin verme
Google-Agent, web'de gezinmek ve kullanıcı isteği üzerine işlem yapmak için Google altyapısında barındırılan ajanlar tarafından kullanılan addır. İçerik yayınlama ağınızda (CDN), web uygulaması güvenlik duvarınızda (WAF) veya bot algılama hizmetinizde Google-Agent trafiğine açıkça izin vermek, mevcut güvenlik kontrollerinizi korurken meşru isteklerin engellenmesini önlemeye yardımcı olur.
Google-Agent'ın istekleri tanımlama şekli
Her Google-Agent isteği, "Google-Agent" içeren bir User-Agent HTTP isteği başlığı içerir (Google'ın kullanıcının tetiklediği alıcıları bölümüne bakın) ve user-triggered-agents.json dosyasındaki bir IP adresinden gelir.
Google, https://agent.bot.goog kimliğini kullanarak Web Bot Auth protokolü ile ilgili denemeler de yapmaktadır.
Bu denemede Google, Google-Agent tarafından yapılan istekleri HTTP Mesaj İmzaları standardı (RFC 9421) ile imzalar.
Kapsama dahil olan istekler şunlardır:
g="https://agent.bot.goog"olarak ayarlanmış birSignature-Agentbaşlığıgolarak etiketlenmişSignatureveSignature-Inputbaşlıkları
Bu imzaları doğrulamak için ayarlanan ortak anahtar kümesine https://agent.bot.goog/.well-known/http-message-signatures-directory adresinden ulaşabilirsiniz.
CDN, güvenlik duvarı veya bot algılama hizmetinizde trafiğe izin verme
Bazı bot algılama hizmetleri, CDN'ler ve güvenlik duvarları, Google-Agent kullanıcı aracısı tarafından yapılan istekleri doğrulamanın ve bu isteklere izin vermenin yollarını sunar. Tam adımlar için sağlayıcınıza başvurun.
Hizmetiniz Google-Agent isteklerini otomatik olarak doğrulamıyorsa aşağıdaki kuralları kullanarak istekleri doğrulayıp onlara izin vermeniz mümkün olabilir:
User-AgentbaşlığınınGoogle-Agentiçerdiğini onaylayın.- IP adresinin user-triggered-agents.json dosyasında yer aldığını onaylayın.
-
Sağlanmışsa Web Bot Auth'a göre
Signature-Agent: g="https://agent.bot.goog"içinSignatureveSignature-Inputbaşlıklarını doğrulayarak imzalı isteği onaylayın. - Doğrulanmış istekler için bot sınamalarını atlayın.
Sorun giderme
Bu isteklere izin verdikten sonra meşru Google-Agent istekleri hâlâ engelleniyorsa:
- Kural önceliği: İzin kuralınızın, doğrulanmış bir bot ayarını geçersiz kılabilecek kapsamlı bulut veya veri merkezi ASN engellemelerinden, yönetilen bot kurallarından ya da kategori düzeyindeki yapay zeka ajanı engelleme politikalarından daha yüksek önceliğe sahip olduğunu (ve bunlardan önce değerlendirildiğini) onaylayın.
- Etkileşimli sınamalar: Kuralınızın, HTTP engellemelerinin yanı sıra etkileşimli CAPTCHA'ları ve JavaScript sınamalarını (arama veya form gönderimi sırasında tetiklenen bağımsız sayfa içi CAPTCHA widget'ları dahil) atladığını onaylayın.
-
Kullanıcı akışı işlemleri ve API'ler: Bu isteklere izin verilmesinin, ilk ana sayfa yüklemelerinin ötesindeki işlemleri (site içi arama, filtreleme, ayrıntılar sayfalarını tıklama, alışveriş sepetine ekleme, rezervasyon ve temel XHR, GraphQL veya
api.*uç noktaları dahil) kapsadığını onaylayın. -
Paylaşılan IP sıklık sınırları: Birden fazla kullanıcıdan gelen eşzamanlı istekler aynı çıkış havuzunu paylaştığından, IP başına sıklık sınırlaması kurallarının doğrulanmış
Google-AgentIP aralıklarını hesaba kattığını veya muaf tuttuğunu onaylayın. - IP aralığı güncellemeleri: IP tabanlı kuralların, user-triggered-agents.json dosyasındaki en güncel aralıklarla senkronize kaldığını onaylayın.
-
Proxy başlıkları: Yük dengeleyicilerin ve ara proxy'lerin orijinal istemci IP'sini,
User-Agentbaşlığını ve (imzalı istekler için)Signature,Signature-InputveSignature-Agentbaşlıklarını koruduğunu onaylayın.