사용자에게 만족스러운 경험을 제공하기 위해 Google에서는 제공된 작업 링크가 작동하고 장소 작업 정책을 준수하는지 확인합니다. 이를 위해 Google에서는 사람의 검토와 자동 검토를 모두 활용합니다.
수동 검사
Google은 전 세계에 분산된 팀을 보유하고 있습니다. 적시에 온보딩하고 출시 후 지원을 제공하려면 이러한 지역에서 작업 링크를 차단하지 않는 것이 좋습니다.
자동 검사 (크롤러)
자동 크롤러는 페이지가 제대로 로드되는지 확인하기 위해 작업 링크에 주기적으로 액세스합니다. 크롤러가 4xx 또는 5xx HTTP 상태 코드 (예: 403 Forbidden 또는 404 Not Found)를 수신하면 링크가 깨지거나 액세스할 수 없는 것으로 표시되고 Google 검색 및 지도에서 사용 중지됩니다.
웹 크롤러 감지 및 방화벽 구성
웹 크롤러가 차단되지 않도록 (작업 링크가 사용 중지됨) 웹 애플리케이션 방화벽 (WAF), 콘텐츠 전송 네트워크 (CDN) 또는 IP 제한 규칙에서 Google 크롤러가 언제든지 페이지를 쿼리할 수 있도록 허용해야 합니다.
Google 크롤러를 식별하고 차단 해제하려면 다음 단계를 따르세요.
- Actions Center 크롤러: User-Agent에 문자열
Google-Actions-Center이 포함됩니다(예:Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko; Google-Actions-Center) Chrome/104.0.5112.101 Safari/537.36). 호출은 패턴 을 따르는 프록시 호스트 이름에서 시작됩니다(google-proxy-***-***-***-***.google.com). - Googlebot 크롤러: 링크 확인 크롤러도 표준 Googlebot 사용자 에이전트 문자열을 사용합니다.
- 확인: 'Googlebot 및 기타 Google 크롤러 확인'에 설명된 대로 역방향 DNS 조회 (
*.googlebot.com또는*.google.com)를 사용하여 수신 요청이 실제로 Google에서 온 것인지 확인할 수 있습니다. - 크롤링 가능성 테스트: Google Search Console의 URL 검사 도구 를 사용하여 Googlebot이 페이지를 실시간으로 크롤링하고 렌더링할 수 있는지 테스트할 수 있습니다. Google Search Console 상단의 검색창에 전체 URL을 붙여넣고 Enter 키를 누른 다음 라이브 URL 테스트 를 클릭하여 실시간 크롤링, 렌더링, 색인 데이터를 확인합니다.
크롤러 오류로 인해 작업 링크가 사용 중지된 경우 Google 크롤러의 요청이 200 OK를 반환하도록 서버 또는 방화벽 설정을 업데이트하면 자동 재확인을 통해 차단을 해제하고 링크를 자동으로 복원할 수 있습니다.
Google Search Console 삭제 요청
자동 크롤러 검사 외에도 Google Search Console에서 도메인 소유자가 활성 URL 또는 도메인 삭제 요청을 제출한 경우 링크가 사용 중지될 수 있습니다.
Google 크롤러에 200 OK를 반환하는데도 작업 링크가 표시되지 않는 경우
Google Search Console에서 도메인 또는 URL에 삭제 요청이 제출되었는지 확인하고
Search Console 삭제 도구를 사용하여 오래되었거나 활성 상태인 삭제 요청을 취소하세요.
캐싱
파트너 웹사이트의 부하를 줄이기 위해 Google 크롤러는 일반적으로 응답에 있는 모든 표준 HTTP 캐싱 헤더를 준수하도록 구성됩니다. 즉, 올바르게 구성된 웹사이트의 경우 변경 빈도가 낮은 콘텐츠 (예: JavaScript 라이브러리)를 반복적으로 가져오지 않습니다. 캐싱을 구현하는 방법에 관한 자세한 내용은 이 HTTP 캐싱 문서를 참고하세요.