Mengizinkan traffic Google-Agent
Google-Agent
adalah nama yang digunakan oleh agen yang dihosting di infrastruktur Google untuk menjelajahi web dan menjalankan tindakan
atas permintaan pengguna. Mengizinkan traffic Google-Agent secara eksplisit di jaringan penayangan
konten (CDN), firewall aplikasi web (WAF), atau layanan deteksi bot Anda membantu mencegah
pemblokiran permintaan yang sah sekaligus mempertahankan kontrol keamanan yang ada.
Cara Google-Agent mengidentifikasi permintaan
Setiap permintaan Google-Agent menyertakan header permintaan HTTP User-Agent
yang berisi "Google-Agent" (lihat
pengambil yang dipicu pengguna Google)
dan berasal dari alamat IP dari
user-triggered-agents.json.
Google juga sedang bereksperimen dengan protokol
Web Bot Auth menggunakan identitas
https://agent.bot.goog.
Dalam eksperimen ini, Google menandatangani permintaan yang dibuat oleh
Google-Agent dengan standar Tanda Tangan Pesan HTTP
(RFC 9421).
Permintaan yang disertakan meliputi:
- Header
Signature-Agentyang ditetapkan keg="https://agent.bot.goog" - Header
SignaturedanSignature-Inputyang diberi labelg
Rangkaian kunci publik untuk memverifikasi tanda tangan ini tersedia di: https://agent.bot.goog/.well-known/http-message-signatures-directory
Mengizinkan traffic di CDN, Firewall, atau layanan deteksi bot Anda
Beberapa layanan deteksi bot, CDN, dan Firewall menyediakan cara untuk memverifikasi serta mengizinkan permintaan yang dibuat oleh agen pengguna Google-Agent;
hubungi penyedia Anda untuk mengetahui
langkah-langkah pastinya.
Jika layanan Anda tidak otomatis memverifikasi permintaan Google-Agent, Anda mungkin dapat
memverifikasi dan mengizinkan permintaan menggunakan aturan berikut:
- Pastikan header
User-AgentberisiGoogle-Agent. - Pastikan alamat IP ada di user-triggered-agents.json.
-
Jika disediakan, konfirmasi permintaan bertanda tangan dengan memverifikasi header
SignaturedanSignature-InputuntukSignature-Agent: g="https://agent.bot.goog"sesuai dengan Web Bot Auth. - Untuk permintaan yang diverifikasi, lewati tantangan bot.
Pemecahan masalah
Jika permintaan Google-Agent yang sah masih diblokir setelah mengizinkan permintaan ini:
- Prioritas aturan: Pastikan aturan izin Anda memiliki prioritas lebih tinggi (dan dievaluasi lebih dahulu) daripada pemblokiran ASN cloud atau pusat data secara luas, aturan bot terkelola, atau kebijakan pemblokiran agen AI tingkat kategori yang dapat membatalkan setelan bot yang telah diverifikasi.
- Tantangan interaktif: Pastikan aturan Anda mengabaikan CAPTCHA interaktif dan tantangan JavaScript selain pemblokiran HTTP, termasuk widget CAPTCHA mandiri di dalam halaman yang dipicu saat penelusuran atau pengiriman formulir.
-
Tindakan dan API dalam sesi pengguna: Pastikan bahwa izin untuk permintaan ini mencakup tindakan di luar
pemuatan awal halaman beranda, termasuk pencarian di situs, pemfilteran, mengklik halaman detail,
menambah ke keranjang, pemesanan, serta endpoint XHR, GraphQL, atau
api.*yang mendasarinya. -
Batas kapasitas IP bersama: Pastikan aturan pembatasan kapasitas per IP memperhitungkan atau mengecualikan rentang IP
Google-Agentyang telah diverifikasi, karena permintaan bersamaan dari beberapa pengguna menggunakan kumpulan egress yang sama. - Pembaruan rentang IP: Pastikan aturan berbasis IP tetap disinkronkan dengan rentang terbaru di user-triggered-agents.json.
-
Header proxy: Pastikan load balancer dan proxy perantara mempertahankan IP klien asli,
header
User-Agent, serta (untuk permintaan bertanda tangan) headerSignature,Signature-Input, danSignature-Agent.