ตรวจสอบสิทธิ์คำขอด้วย Web Bot Auth (เวอร์ชันทดลอง)

Google กำลังทดสอบการใช้งาน Web Bot Auth ตามอินเทอร์เน็ตของ IETF ฉบับร่างซึ่งเป็นโปรโตคอลการเข้ารหัสแบบใหม่ที่ช่วยให้เว็บไซต์สามารถตรวจสอบว่ายืนยันว่าบ็อตนั้นเป็นตัวจริงหรือไม่ เรากำลังทดสอบโปรโตคอลนี้กับ AI Agent บางตัวที่โฮสต์อยู่ในโครงสร้างพื้นฐานของ Google คู่มือนี้จะอธิบายเกี่ยวกับ Web Bot Auth, สถานะปัจจุบัน และวิธีใช้การยืนยันในระยะทดลอง

Web Bot Auth คืออะไร

Web Bot Auth เป็นโปรโตคอลการเข้ารหัสเวอร์ชันทดลองที่ใช้ในการตรวจสอบสิทธิ์คำขอที่บ็อตส่งมา Web Bot Auth ช่วยให้ Agent สามารถลงนามแบบเข้ารหัสในคำขอแทนที่จะใช้เพียงแค่ส่วนหัวและที่อยู่ IP ที่รายงานด้วยตนเอง

การใช้ Web Bot Auth ช่วยให้เจ้าของเว็บไซต์ระบุการเข้าชมแบบอัตโนมัติบนเว็บไซต์ของตนได้ และป้องกันไม่ให้มีการพยายามปลอมแปลงเป็น Agent ที่น่าเชื่อถือ Web Bot Auth มีประโยชน์ดังนี้

  • ความแน่นอนด้วยการเข้ารหัส: ก้าวข้ามส่วนหัวที่ปลอมแปลงได้ง่ายสู่การระบุตัวตนที่ยืนยันแล้ว และแยกตัวตนของ Agent ออกจากที่อยู่ IP
  • ความสามารถในการสังเกตที่ดียิ่งขึ้น: รับข้อมูลเชิงลึกที่ชัดเจนยิ่งขึ้นเกี่ยวกับวิธีที่ Agent โต้ตอบกับเนื้อหาของคุณ
  • การเตรียมพร้อมสำหรับอนาคต: ช่วยสร้างเว็บที่ผู้ให้บริการ Agent และเว็บไซต์สามารถสร้างความไว้วางใจซึ่งกันและกัน รวมถึงการตัดสินใจเข้าถึงได้อย่างมีข้อมูลรองรับ

สถานะปัจจุบันของ Web Bot Auth: เวอร์ชันทดลอง

การใช้ Web Bot Auth ของ Google ยังอยู่ในขั้นทดลองด้วยเหตุผลต่อไปนี้

  • ปัจจุบัน Web Bot Auth เป็นข้อกำหนดฉบับร่างที่พัฒนาโดย คณะทำงาน WBA ของ IETF และอาจมีการเปลี่ยนแปลงเมื่อเวลาผ่านไป Google ยังคงมีส่วนร่วมอย่างต่อเนื่องในการทำงานของคณะทำงาน
  • การยืนยันบ็อตผ่าน User-Agent และ IP เป็นมาตรฐานที่ใช้กันอยู่ในปัจจุบัน โดยมีทั้งระบบ นโยบาย และแนวทางปฏิบัติแนะนำที่สร้างขึ้นมานานหลายทศวรรษ การเปลี่ยนแปลงสิ่งเหล่านี้ต้องใช้เวลาและแนวทางที่รอบคอบ และเรายังอยู่ในระยะเริ่มต้น โดยยังคงประเมินลักษณะเฉพาะทางเทคนิคและผลกระทบที่อาจเกิดขึ้นต่อระบบนิเวศของโปรโตคอลนี้

นี่หมายความว่าอย่างไร

สถานะการทดลองหมายความว่า

  • User Agent ของ Google บางตัวไม่ได้ใช้ Web Bot Auth
  • Google ยังไม่ได้ลงนามในคำขอทั้งหมดของ Agent ที่ใช้โปรโตคอล
  • เราขอแนะนำให้ใช้ที่อยู่ IP, DNS แบบย้อนกลับ และสตริง User Agent ต่อไปควบคู่กับ Web Bot Auth ในขณะที่เราจะทยอยเปิดตัวการเข้าชมที่มีการลงนาม

สำหรับผู้ที่สนใจเข้าร่วมในช่วงระยะทดลองนี้ เราได้จัดเตรียมคำแนะนำเกี่ยวกับวิธีจำแนกและเพิ่ม Google AI Agent ในรายการที่อนุญาต

วิธีการเพิ่ม Google AI Agent ในรายการที่อนุญาตโดยใช้ Web Bot Auth

หากคุณเป็นนักพัฒนาซอฟต์แวร์หรือผู้ดูแลระบบที่ต้องการเพิ่ม AI Agent เวอร์ชันทดลองในรายการที่อนุญาต คุณสามารถใช้การยืนยันผ่านโปรโตคอล Web Bot Auth ได้ดังนี้

ใช้ผลิตภัณฑ์หรือบริการที่รองรับ Web Bot Auth

บริการตรวจหาบ็อต, CDN และ WAF รายใหญ่รองรับ Web Bot Auth บริการโครงสร้างพื้นฐานบางรายมีวิธีค้นหา Google-Agent User Agent และเพิ่มในรายการที่อนุญาต โปรดดูขั้นตอนอย่างละเอียดจากผู้ให้บริการ คำขอบางส่วนจาก Google-Agent จะได้รับการลงนามด้วย Web Bot Auth ซึ่งในกรณีดังเหล่า ระบบจะตรวจสอบสิทธิ์ในฐานะ https://agent.bot.goog หากผู้ให้บริการรองรับโปรโตคอลดังกล่าว ก็มีแนวโน้มที่จะยืนยันโดยอัตโนมัติ

ยืนยันคำขอด้วยตนเอง

หากต้องการตรวจสอบสิทธิ์คำขอด้วยตนเอง โปรดดู ข้อกำหนดสถาปัตยกรรมการเข้าชมแบบอัตโนมัติของลายเซ็นข้อความ HTTP และตัวอย่างการนำไปใช้บน GitHub โดยทั่วไป ขั้นตอนโปรโตคอลที่สำคัญมีดังนี้

  1. ดึงข้อมูลชุดคีย์สาธารณะของ Agent จาก https://agent.bot.goog/.well-known/http-message-signatures-directory และแคชตามส่วนหัวของ Cache-Control
  2. คำขอที่เข้าร่วมซึ่งส่งไปยังเซิร์ฟเวอร์จะมีส่วนหัวของคำขอ HTTP ของ Signature-Agent ซึ่งตั้งค่าเป็น g="https://agent.bot.goog" (โปรดสังเกตป้ายกำกับ g=)
  3. ยืนยันส่วนหัวของ Signature ตาม Signature-Input โดยเป็นไปตามมาตรฐานลายเซ็นข้อความ HTTP (RFC 9421) ใช้ส่วนหัวของ Signature และ Signature-Input ที่ติดป้ายกำกับเป็น g
  4. อย่าลืมกลับไปใช้การยืนยันตาม IP เนื่องจากยังไม่ได้ลงนามคำขอบางรายการ
ขั้นตอนการยืนยัน Web Bot Auth

สำหรับคำขอที่มีความไวต่อเวลาในการตอบสนอง คุณสามารถแสดงผลคำตอบล่วงหน้าและตรวจสอบลายเซ็นภายในกรอบเวลาการหมดอายุ ในกรณีนี้ การลงโทษจะเกิดขึ้นหลังจากเหตุการณ์ดังกล่าว และคุณสามารถนำไปใช้กับคำขอในอนาคตของผู้เรียกได้

ขั้นตอนถัดไป