Google-Agent 트래픽 허용
Google-Agent는 Google 인프라에서 호스팅되는 에이전트가 웹을 탐색하고 사용자 요청에 따라 작업을 실행하는 데 사용하는 이름입니다. 콘텐츠 전송 네트워크(CDN), 웹 애플리케이션 방화벽(WAF) 또는 크롤러 감지 서비스에서 Google-Agent 트래픽을 명시적으로 허용하면 기존 보안 제어를 유지하면서 합법적인 요청이 차단되는 것을 방지할 수 있습니다.
Google-Agent가 요청을 식별하는 방법
각 Google-Agent 요청에는 "Google-Agent"가 포함된 User-Agent HTTP 요청 헤더가 포함되며(Google 사용자 트리거 가져오기 도구 참고) user-triggered-agents.json의 IP 주소에서 전송됩니다.
Google은 https://agent.bot.goog ID를 사용하여 웹 크롤러 인증 프로토콜도 실험하고 있습니다.
이 실험에서 Google은 HTTP 메시지 서명 표준(RFC 9421)을 사용하여 Google-Agent에서 보낸 요청에 서명합니다.
참여하는 요청에는 다음이 포함됩니다.
g="https://agent.bot.goog"로 설정된Signature-Agent헤더g로 라벨이 지정된Signature및Signature-Input헤더
이러한 서명을 확인하기 위한 공개 키 세트는 https://agent.bot.goog/.well-known/http-message-signatures-directory에서 확인할 수 있습니다.
CDN, 방화벽 또는 크롤러 감지 서비스에서 트래픽 허용
일부 크롤러 감지 서비스, CDN, 방화벽은 Google-Agent 사용자 에이전트가 보낸 요청을 확인하고 허용하는 방법을 제공합니다. 정확한 단계는 제공업체에 문의하세요.
서비스에서 Google-Agent 요청을 자동으로 확인하지 않는 경우 다음 규칙을 사용하여 요청을 확인하고 허용할 수 있습니다.
User-Agent헤더에Google-Agent가 포함되어 있는지 확인합니다.- IP 주소가 user-triggered-agents.json에 있는지 확인합니다.
-
제공된 경우 웹 크롤러 인증에 따라
Signature-Agent: g="https://agent.bot.goog"의Signature및Signature-Input헤더를 확인하여 서명된 요청을 확인합니다. - 확인된 요청의 경우 봇 챌린지를 건너뜁니다.
문제 해결
이러한 요청을 허용한 후에도 합법적인 Google-Agent 요청이 계속 차단되는 경우 다음 단계를 따르세요.
- 규칙 우선순위: 허용 규칙이 확인된 봇 설정을 재정의할 수 있는 광범위한 클라우드 또는 데이터 센터 ASN 블록, 관리형 봇 규칙 또는 카테고리 수준 AI 에이전트 차단 정책보다 우선순위가 높고 먼저 평가되는지 확인합니다.
- 대화형 챌린지: 규칙이 HTTP 차단 외에도 대화형 보안문자 및 JavaScript 챌린지를 건너뛰는지 확인합니다. 여기에는 검색 또는 양식 제출 시 트리거되는 독립형 인페이지 보안문자 위젯이 포함됩니다.
-
여정 내 작업 및 API: 이러한 요청을 허용하면 사이트 검색, 필터링, 세부정보 페이지 클릭, 장바구니에 추가, 예약, 기본 XHR, GraphQL 또는
api.*엔드포인트를 비롯한 초기 홈페이지 로드 이외의 작업이 포함되는지 확인합니다. -
공유 IP 비율 제한: 여러 사용자의 동시 요청이 동일한 이그레스 풀을 공유하므로 IP별 비율 제한 규칙이 확인된
Google-AgentIP 범위를 고려하거나 제외하는지 확인합니다. - IP 범위 업데이트: IP 기반 규칙이 user-triggered-agents.json의 최신 범위와 동기화된 상태를 유지하는지 확인합니다.
-
프록시 헤더: 부하 분산기와 중간 프록시가 원래 클라이언트 IP,
User-Agent헤더, (서명된 요청의 경우)Signature,Signature-Input,Signature-Agent헤더를 보존하는지 확인합니다.