อนุญาตการเข้าชมจาก Google-Agent
Google-Agent
เป็นชื่อที่ใช้โดย Agent ที่โฮสต์ในโครงสร้างพื้นฐานของ Google เพื่อไปยังส่วนต่างๆ ของเว็บและดำเนินการตามคำขอของผู้ใช้ การอนุญาตการเข้าชมจาก Google-Agent อย่างชัดเจนในเครือข่ายนำส่งข้อมูล (CDN), ไฟร์วอลล์สำหรับเว็บแอปพลิเคชัน (WAF) หรือบริการตรวจจับบ็อตจะช่วยป้องกันไม่ให้ระบบบล็อกคำขอที่ถูกต้อง ขณะเดียวกันก็ยังคงรักษาการควบคุมความปลอดภัยที่มีอยู่ไว้
วิธีที่ Google-Agent ระบุคำขอ
คำขอ Google-Agent แต่ละรายการจะมีส่วนหัวของคำขอ HTTP User-Agent ที่มี "Google-Agent" (ดูตัวดึงข้อมูลที่ทริกเกอร์โดยผู้ใช้ของ Google) และมาจากที่อยู่ IP จาก user-triggered-agents.json
Google ยังทดสอบโปรโตคอล Web Bot Auth โดยใช้ข้อมูลประจำตัว https://agent.bot.goog ด้วย
ในการทดสอบนี้ Google จะลงชื่อในคำขอที่ Google-Agent ส่งด้วยมาตรฐานลายเซ็นข้อความ HTTP (RFC 9421)
คำขอที่เข้าร่วม ได้แก่
- ส่วนหัว
Signature-Agentที่ตั้งค่าเป็นg="https://agent.bot.goog" - ส่วนหัวของ
SignatureและSignature-Inputที่ติดป้ายกำกับเป็นg
ชุดคีย์สาธารณะสำหรับการยืนยันลายเซ็นเหล่านี้มีอยู่ที่ https://agent.bot.goog/.well-known/http-message-signatures-directory
อนุญาตการเข้าชมใน CDN, ไฟร์วอลล์ หรือบริการตรวจจับบ็อต
บริการตรวจจับบ็อต, CDN และไฟร์วอลล์บางรายการมีวิธีตรวจสอบคำขอที่ทำโดย User Agent Google-Agent และอนุญาตคำขอเหล่านี้ โปรดดูขั้นตอนอย่างละเอียดจากผู้ให้บริการ
หากบริการของคุณไม่ยืนยันคำขอ Google-Agent โดยอัตโนมัติ คุณอาจยืนยันและอนุญาตคำขอได้โดยใช้กฎต่อไปนี้
- ตรวจสอบว่าส่วนหัว
User-AgentมีGoogle-Agent - ยืนยันว่าที่อยู่ IP อยู่ใน user-triggered-agents.json
-
หากมี ให้ยืนยันคำขอที่ลงนามโดยตรวจสอบส่วนหัว
SignatureและSignature-InputสำหรับSignature-Agent: g="https://agent.bot.goog"ตาม Web Bot Auth - สำหรับคำขอที่ได้รับการยืนยันแล้ว ให้ข้ามคำถามเพื่อยืนยันตัวตนว่าเป็นบ็อตหรือไม่
การแก้ปัญหา
หากระบบยังคงบล็อกคำขอ Google-Agent ที่ถูกต้องหลังจากอนุญาตคำขอเหล่านี้แล้ว ให้ทำดังนี้
- ลำดับความสำคัญของกฎ: ตรวจสอบว่ากฎการอนุญาตมีลำดับความสำคัญสูงกว่า (และประเมินก่อน) บล็อก ASN ของระบบคลาวด์หรือศูนย์ข้อมูลแบบกว้าง, กฎบ็อตที่มีการจัดการ หรือนโยบายการบล็อก AI Agent ระดับหมวดหมู่ที่อาจลบล้างการตั้งค่าบ็อตที่ยืนยันแล้ว
- การทดสอบแบบอินเทอร์แอกทีฟ: ยืนยันว่ากฎของคุณข้าม CAPTCHA แบบอินเทอร์แอกทีฟและการทดสอบ JavaScript นอกเหนือจากการบล็อก HTTP รวมถึงวิดเจ็ต CAPTCHA ในหน้าเว็บแบบสแตนด์อโลนที่ทริกเกอร์ในการค้นหาหรือการส่งแบบฟอร์ม
-
การดำเนินการและ API ในเส้นทาง: ยืนยันว่าการอนุญาตคำขอเหล่านี้ครอบคลุมการดำเนินการที่นอกเหนือจากการโหลดหน้าแรกเริ่มต้น ซึ่งรวมถึงการค้นหาในเว็บไซต์ การกรอง การคลิกเข้าไปในหน้ารายละเอียด การเพิ่มลงในรถเข็น การจอง และปลายทาง XHR, GraphQL หรือ
api.*ที่เกี่ยวข้อง -
ขีดจำกัดอัตราคำขอของ IP ที่ใช้ร่วมกัน: ยืนยันว่ากฎการจำกัดอัตราคำขอต่อ IP พิจารณาหรือยกเว้นช่วง IP ของ
Google-Agentที่ยืนยันแล้ว เนื่องจากคำขอหลายรายการพร้อมกันจากผู้ใช้หลายคนใช้พูลขาออกเดียวกัน - การอัปเดตช่วง IP: ตรวจสอบว่ากฎที่อิงตาม IP ยังคงซิงค์กับช่วงล่าสุดใน user-triggered-agents.json
-
ส่วนหัวของพร็อกซี: ตรวจสอบว่าตัวจัดสรรภาระงานและพร็อกซีระดับกลางเก็บ IP ของไคลเอ็นต์เดิม, ส่วนหัว
User-Agentและ (สำหรับคำขอที่ลงชื่อ) ส่วนหัวSignature,Signature-InputและSignature-Agentไว้