Mengizinkan traffic Google-Agent

Google-Agent adalah nama yang digunakan oleh agen yang dihosting di infrastruktur Google untuk menjelajahi web dan menjalankan tindakan atas permintaan pengguna. Mengizinkan traffic Google-Agent secara eksplisit di jaringan penayangan konten (CDN), firewall aplikasi web (WAF), atau layanan deteksi bot Anda membantu mencegah pemblokiran permintaan yang sah sekaligus mempertahankan kontrol keamanan yang ada.

Cara Google-Agent mengidentifikasi permintaan

Setiap permintaan Google-Agent menyertakan header permintaan HTTP User-Agent yang berisi "Google-Agent" (lihat pengambil yang dipicu pengguna Google) dan berasal dari alamat IP dari user-triggered-agents.json.

Google juga sedang bereksperimen dengan protokol Web Bot Auth menggunakan identitas https://agent.bot.goog. Dalam eksperimen ini, Google menandatangani permintaan yang dibuat oleh Google-Agent dengan standar Tanda Tangan Pesan HTTP (RFC 9421). Permintaan yang disertakan meliputi:

  • Header Signature-Agent yang ditetapkan ke g="https://agent.bot.goog"
  • Header Signature dan Signature-Input yang diberi label g

Rangkaian kunci publik untuk memverifikasi tanda tangan ini tersedia di: https://agent.bot.goog/.well-known/http-message-signatures-directory

Mengizinkan traffic di CDN, Firewall, atau layanan deteksi bot Anda

Beberapa layanan deteksi bot, CDN, dan Firewall menyediakan cara untuk memverifikasi serta mengizinkan permintaan yang dibuat oleh agen pengguna Google-Agent; hubungi penyedia Anda untuk mengetahui langkah-langkah pastinya.

Jika layanan Anda tidak otomatis memverifikasi permintaan Google-Agent, Anda mungkin dapat memverifikasi dan mengizinkan permintaan menggunakan aturan berikut:

  • Pastikan header User-Agent berisi Google-Agent.
  • Pastikan alamat IP ada di user-triggered-agents.json.
  • Jika disediakan, konfirmasi permintaan bertanda tangan dengan memverifikasi header Signature dan Signature-Input untuk Signature-Agent: g="https://agent.bot.goog" sesuai dengan Web Bot Auth.
  • Untuk permintaan yang diverifikasi, lewati tantangan bot.

Pemecahan masalah

Jika permintaan Google-Agent yang sah masih diblokir setelah mengizinkan permintaan ini:

  • Prioritas aturan: Pastikan aturan izin Anda memiliki prioritas lebih tinggi (dan dievaluasi lebih dahulu) daripada pemblokiran ASN cloud atau pusat data secara luas, aturan bot terkelola, atau kebijakan pemblokiran agen AI tingkat kategori yang dapat membatalkan setelan bot yang telah diverifikasi.
  • Tantangan interaktif: Pastikan aturan Anda mengabaikan CAPTCHA interaktif dan tantangan JavaScript selain pemblokiran HTTP, termasuk widget CAPTCHA mandiri di dalam halaman yang dipicu saat penelusuran atau pengiriman formulir.
  • Tindakan dan API dalam sesi pengguna: Pastikan bahwa izin untuk permintaan ini mencakup tindakan di luar pemuatan awal halaman beranda, termasuk pencarian di situs, pemfilteran, mengklik halaman detail, menambah ke keranjang, pemesanan, serta endpoint XHR, GraphQL, atau api.* yang mendasarinya.
  • Batas kapasitas IP bersama: Pastikan aturan pembatasan kapasitas per IP memperhitungkan atau mengecualikan rentang IP Google-Agent yang telah diverifikasi, karena permintaan bersamaan dari beberapa pengguna menggunakan kumpulan egress yang sama.
  • Pembaruan rentang IP: Pastikan aturan berbasis IP tetap disinkronkan dengan rentang terbaru di user-triggered-agents.json.
  • Header proxy: Pastikan load balancer dan proxy perantara mempertahankan IP klien asli, header User-Agent, serta (untuk permintaan bertanda tangan) header Signature, Signature-Input, dan Signature-Agent.