Googlebot과 다른 Google 크롤러 확인

서버에 액세스하는 웹 크롤러가 실제로 Googlebot과 같은 Google 크롤러인지 확인할 수 있습니다. 이 방법은 스팸 발송자나 악의적 사용자가 Googlebot을 가장하여 사이트에 액세스하지 못하게 하는 데 도움이 됩니다.

Google 크롤러 확인에는 다음 두 가지 방법이 있습니다.

수동: 일회성 조회의 경우 명령줄 도구를 사용합니다. 이 방법만 사용해도 대부분의 사용 사례에 충분합니다.
자동: 대규모 조회의 경우 자동 솔루션을 사용하여 크롤러의 IP 주소를 게시된 Googlebot IP 주소 목록과 대조합니다.

명령줄 도구 사용

host 명령어를 사용해 로그의 액세스 IP 주소에 역방향 DNS 조회를 실행합니다.
도메인 이름이 googlebot.com 또는 google.com인지 확인합니다.
검색된 도메인 이름에서 host 명령어를 사용해 1단계에서 검색된 도메인 이름에 순방향 DNS 조회를 실행합니다.
로그의 원래 액세스 IP 주소와 동일한지 확인합니다.

예 1:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

예 2:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

자동 솔루션 사용

또는 크롤러의 IP 주소를 Googlebot IP 주소 목록과 대조해 IP 주소로 Googlebot을 식별할 수도 있습니다. 사이트에 액세스할 수 있는 다른 Google IP 주소(예: 사용자 요청 또는 Apps Script)는 액세스 IP 주소를 Google IP 주소 목록과 대조합니다.