อนุญาตการเข้าชมจาก Google-Agent

Google-Agent เป็นชื่อที่ใช้โดย Agent ที่โฮสต์ในโครงสร้างพื้นฐานของ Google เพื่อไปยังส่วนต่างๆ ของเว็บและดำเนินการตามคำขอของผู้ใช้ การอนุญาตการเข้าชมจาก Google-Agent อย่างชัดเจนในเครือข่ายนำส่งข้อมูล (CDN), ไฟร์วอลล์สำหรับเว็บแอปพลิเคชัน (WAF) หรือบริการตรวจจับบ็อตจะช่วยป้องกันไม่ให้ระบบบล็อกคำขอที่ถูกต้อง ขณะเดียวกันก็ยังคงรักษาการควบคุมความปลอดภัยที่มีอยู่ไว้

วิธีที่ Google-Agent ระบุคำขอ

คำขอ Google-Agent แต่ละรายการจะมีส่วนหัวของคำขอ HTTP User-Agent ที่มี "Google-Agent" (ดูตัวดึงข้อมูลที่ทริกเกอร์โดยผู้ใช้ของ Google) และมาจากที่อยู่ IP จาก user-triggered-agents.json

Google ยังทดสอบโปรโตคอล Web Bot Auth โดยใช้ข้อมูลประจำตัว https://agent.bot.goog ด้วย ในการทดสอบนี้ Google จะลงชื่อในคำขอที่ Google-Agent ส่งด้วยมาตรฐานลายเซ็นข้อความ HTTP (RFC 9421) คำขอที่เข้าร่วม ได้แก่

  • ส่วนหัว Signature-Agent ที่ตั้งค่าเป็น g="https://agent.bot.goog"
  • ส่วนหัวของ Signature และ Signature-Input ที่ติดป้ายกำกับเป็น g

ชุดคีย์สาธารณะสำหรับการยืนยันลายเซ็นเหล่านี้มีอยู่ที่ https://agent.bot.goog/.well-known/http-message-signatures-directory

อนุญาตการเข้าชมใน CDN, ไฟร์วอลล์ หรือบริการตรวจจับบ็อต

บริการตรวจจับบ็อต, CDN และไฟร์วอลล์บางรายการมีวิธีตรวจสอบคำขอที่ทำโดย User Agent Google-Agent และอนุญาตคำขอเหล่านี้ โปรดดูขั้นตอนอย่างละเอียดจากผู้ให้บริการ

หากบริการของคุณไม่ยืนยันคำขอ Google-Agent โดยอัตโนมัติ คุณอาจยืนยันและอนุญาตคำขอได้โดยใช้กฎต่อไปนี้

  • ตรวจสอบว่าส่วนหัว User-Agent มี Google-Agent
  • ยืนยันว่าที่อยู่ IP อยู่ใน user-triggered-agents.json
  • หากมี ให้ยืนยันคำขอที่ลงนามโดยตรวจสอบส่วนหัว Signature และ Signature-Input สำหรับ Signature-Agent: g="https://agent.bot.goog" ตาม Web Bot Auth
  • สำหรับคำขอที่ได้รับการยืนยันแล้ว ให้ข้ามคำถามเพื่อยืนยันตัวตนว่าเป็นบ็อตหรือไม่

การแก้ปัญหา

หากระบบยังคงบล็อกคำขอ Google-Agent ที่ถูกต้องหลังจากอนุญาตคำขอเหล่านี้แล้ว ให้ทำดังนี้

  • ลำดับความสำคัญของกฎ: ตรวจสอบว่ากฎการอนุญาตมีลำดับความสำคัญสูงกว่า (และประเมินก่อน) บล็อก ASN ของระบบคลาวด์หรือศูนย์ข้อมูลแบบกว้าง, กฎบ็อตที่มีการจัดการ หรือนโยบายการบล็อก AI Agent ระดับหมวดหมู่ที่อาจลบล้างการตั้งค่าบ็อตที่ยืนยันแล้ว
  • การทดสอบแบบอินเทอร์แอกทีฟ: ยืนยันว่ากฎของคุณข้าม CAPTCHA แบบอินเทอร์แอกทีฟและการทดสอบ JavaScript นอกเหนือจากการบล็อก HTTP รวมถึงวิดเจ็ต CAPTCHA ในหน้าเว็บแบบสแตนด์อโลนที่ทริกเกอร์ในการค้นหาหรือการส่งแบบฟอร์ม
  • การดำเนินการและ API ในเส้นทาง: ยืนยันว่าการอนุญาตคำขอเหล่านี้ครอบคลุมการดำเนินการที่นอกเหนือจากการโหลดหน้าแรกเริ่มต้น ซึ่งรวมถึงการค้นหาในเว็บไซต์ การกรอง การคลิกเข้าไปในหน้ารายละเอียด การเพิ่มลงในรถเข็น การจอง และปลายทาง XHR, GraphQL หรือ api.* ที่เกี่ยวข้อง
  • ขีดจำกัดอัตราคำขอของ IP ที่ใช้ร่วมกัน: ยืนยันว่ากฎการจำกัดอัตราคำขอต่อ IP พิจารณาหรือยกเว้นช่วง IP ของ Google-Agent ที่ยืนยันแล้ว เนื่องจากคำขอหลายรายการพร้อมกันจากผู้ใช้หลายคนใช้พูลขาออกเดียวกัน
  • การอัปเดตช่วง IP: ตรวจสอบว่ากฎที่อิงตาม IP ยังคงซิงค์กับช่วงล่าสุดใน user-triggered-agents.json
  • ส่วนหัวของพร็อกซี: ตรวจสอบว่าตัวจัดสรรภาระงานและพร็อกซีระดับกลางเก็บ IP ของไคลเอ็นต์เดิม, ส่วนหัว User-Agent และ (สำหรับคำขอที่ลงชื่อ) ส่วนหัว Signature, Signature-Input และ Signature-Agent ไว้