로봇 관련 FAQ

일반적인 로봇 관련 질문

내 웹사이트에 robots.txt 파일이 필요한가요?

아니요. Googlebot에서 웹사이트를 방문하면 먼저 robots.txt 파일 검색을 시도하여 크롤링하기 위한 권한을 요청합니다. robots.txt 파일, 로봇 메타 태그 또는 X-Robots-Tag HTTP 헤더가 없는 웹사이트는 대개 정상적으로 크롤링 및 색인 생성됩니다.

크롤러를 차단하려면 어떤 방법을 사용해야 하나요?

경우에 따라 다릅니다. 다음과 같이 방법별 사용 목적이 다릅니다.

  • robots.txt: 콘텐츠 크롤링이 서버에 문제를 일으키는 경우 사용합니다. 예를 들어, 무한 캘린더 스크립트의 크롤링을 금지할 수 있습니다. 비공개 콘텐츠를 차단하거나(대신 서버 측 인증 사용) 표준화를 처리하는 데 robots.txt를 사용하지 마세요. URL의 색인이 생성되지 않도록 하려면 로봇 메타 태그 또는 X-Robots-Tag HTTP 헤더를 대신 사용하세요.
  • 로봇 메타 태그: 개별 HTML 페이지가 검색결과에 표시되는 방식을 제어하거나 페이지가 표시되지 않아야 하는 경우 사용합니다.
  • X-Robots-Tag HTTP 헤더: 콘텐츠가 검색결과에 표시되는 방식을 제어하거나 콘텐츠가 표시되지 않아야 하는 경우 사용합니다.

robots.txt나 로봇 메타 태그, X-Robots-Tag HTTP 헤더를 사용하여 검색결과에서 다른 사용자의 사이트를 삭제할 수 있나요?

아니요. 이러한 방법은 코드를 수정하거나 파일을 추가할 수 있는 사이트에만 사용할 수 있습니다. Google에서 정보를 삭제하는 방법을 자세히 알아보세요.

Google에서 내 웹사이트를 크롤링하는 속도를 줄이려면 어떻게 해야 하나요?

일반적으로 Google Search Console 계정에서 크롤링 속도 설정을 조정하면 됩니다.

robots.txt 관련 질문

여러 웹사이트에서 같은 robots.txt를 사용합니다. 상대 경로 대신 전체 URL을 사용할 수 있나요?

아니요. robots.txt 파일의 명령어(sitemap: 제외)에는 상대 경로만 사용할 수 있습니다.

robots.txt 파일을 하위 디렉터리에 넣을 수 있나요?

아니요. robots.txt 파일은 웹사이트의 최상위 디렉토리에 넣어야 합니다.

비공개 폴더를 차단하고 싶습니다. 다른 사용자가 내 robots.txt 파일을 읽지 못하게 할 수 있나요?

아니요. robots.txt 파일은 다양한 사용자가 읽을 수 있습니다. 콘텐츠의 폴더나 파일 이름이 공개되지 않아야 하는 경우 robots.txt 파일에 나열하지 마세요. 사용자 에이전트 또는 다른 속성을 기반으로 여러 robots.txt 파일을 게재하는 것은 좋지 않습니다.

크롤링을 허용하려면 allow 명령어를 포함해야 하나요?

아니요. allow 명령어를 포함할 필요는 없습니다. 모든 URL은 암시적으로 허용되고 allow 명령어는 같은 robots.txt 파일에서 disallow 명령어를 재정의하는 데 사용됩니다.

robots.txt 파일 내용을 잘못 입력하거나 지원되지 않는 명령어를 사용하면 어떻게 되나요?

일반적으로 웹 크롤러는 매우 유연하여 robots.txt 파일의 작은 실수에 영향을 받지 않습니다. 발생할 수 있는 가장 최악의 경우는 보통 잘못되거나 지원되지 않는 명령어가 무시되는 정도입니다. 하지만 Google에서 robots.txt 파일을 해석할 때 사용자의 의도까지 읽을 수는 없으며 가져온 robots.txt 파일만을 기반으로 해석한다는 점을 기억하세요. 그렇긴 하지만 사용자가 robots.txt 파일에 문제가 있음을 인식하면 대부분은 쉽게 수정이 가능합니다.

robots.txt 파일을 만들려면 어떤 프로그램을 사용해야 하나요?

유효한 텍스트 파일을 만드는 프로그램이면 무엇이든 사용할 수 있습니다. robots.txt 파일을 만드는 데 사용되는 일반적인 프로그램에는 Notepad, TextEdit, vi 또는 emacs가 있습니다. robots.txt 파일 생성에 관해 자세히 알아보세요. 파일을 만든 후 robots.txt 테스터로 유효성을 검사하세요.

robots.txt에서 disallow 명령어를 사용하여 Google의 페이지 크롤링을 차단하면 페이지가 검색결과에서 사라지나요?

Google의 페이지 크롤링을 차단하면 페이지가 Google의 색인에서 삭제될 수 있습니다.

그러나 robots.txt disallow는 페이지가 검색결과에 표시되지 않는다고 보장하지 않습니다. Google은 수신 링크와 같은 외부 정보를 토대로 여전히 관련성이 있다고 판단하여 검색결과에 URL을 표시할 수 있습니다. 색인이 생성되지 않도록 페이지를 명시적으로 차단하려면 noindex 로봇 메타 태그나 X-Robots-Tag HTTP 헤더를 사용합니다. 이 경우 robots.txt에서 페이지를 금지하지 마세요. 페이지의 메타 태그를 보고 적용하려면 먼저 페이지가 크롤링되어야 하기 때문입니다. Google과 공유하는 항목 관리 방법을 알아보세요.

robots.txt 파일의 변경사항이 검색결과에 반영되는 데 얼마나 오래 걸리나요?

먼저 robots.txt 파일의 캐시를 새로고침해야 합니다. Google은 일반적으로 최대 하루 분량의 콘텐츠를 캐시합니다. 업데이트된 robots.txt를 Google에 제출하여 이 프로세스의 속도를 높일 수 있습니다. 변경사항을 발견한 후에도 크롤링 및 색인 생성은 복잡한 과정이기 때문에 때로는 개별 URL을 처리하는 데 시간이 걸릴 수도 있으므로 정확한 일정을 알려 드릴 수는 없습니다. 또한 robots.txt 파일에서 액세스를 금지해 Google에서 크롤링할 수 없는 URL이라도 검색결과에 계속 표시될 수 있습니다. Google에서 차단한 페이지를 빨리 삭제하려면 삭제 요청을 제출하세요.

웹사이트에서 모든 크롤링을 일시중지하려면 어떻게 해야 하나요?

robots.txt 파일을 비롯한 모든 URL의 503 (service unavailable) HTTP 상태 코드를 반환하여 모든 크롤링을 일시중지할 수 있습니다. robots.txt 파일은 다시 액세스될 때까지 주기적으로 재시도됩니다. 크롤링을 금지하기 위해 robots.txt 파일을 변경하는 것은 좋지 않습니다.

내 서버는 대소문자를 구분하지 않습니다. 일부 폴더에 대해 크롤링을 완전히 금지하려면 어떻게 해야 하나요?

robots.txt 파일의 명령어는 대소문자를 구분합니다. 이 경우 표준화 방법을 사용하여 하나의 URL 버전만 색인 생성되도록 하는 것이 좋습니다. 이렇게 하면 robots.txt 파일의 라인이 크게 줄어 관리가 더 쉽습니다. 이 방법을 사용할 수 없으면 폴더 이름의 일반 조합을 등록하거나 전체 이름 대신 첫 글자 몇 개만을 사용하여 가능한 한 축약하는 것이 좋습니다. 예를 들어 /MyPrivateFolder의 모든 대문자와 소문자 순열을 표시하는 대신 '/MyP'의 순열을 표시할 수 있습니다. 이 경우 이러한 첫 글자들에 크롤링 가능한 다른 URL이 없는지 확인해야 합니다. 또는 크롤링에 문제가 없다면 로봇 메타 태그나 X-Robots-Tag HTTP 헤더를 대신 사용할 수도 있습니다.

robots.txt 파일을 비롯한 모든 URL에서 403 Forbidden을 반환하는데도 사이트가 계속 크롤링되는 이유는 무엇인가요?

403 Forbidden HTTP 상태 코드와 기타 4xx HTTP 상태 코드는 robots.txt 파일이 존재하지 않는 것으로 해석됩니다. 즉, 크롤러는 일반적으로 웹사이트의 모든 URL을 크롤링할 수 있다고 가정합니다. 웹사이트 크롤링을 차단하려면 robots.txt가 200 OK HTTP 상태 코드와 함께 반환되어야 하고 적절한 disallow 규칙을 포함해야 합니다.

로봇 메타 태그 관련 질문

로봇 메타 태그는 robots.txt 파일의 대체물인가요?

아니요. robots.txt 파일은 액세스되는 페이지를 제어합니다. 로봇 메타 태그는 페이지의 색인 생성 여부를 제어하지만 이 태그를 보려면 페이지가 크롤링되어야 합니다. 페이지 크롤링에 문제가 있는 경우(예를 들어 페이지가 서버의 로드를 증가시키는 경우) robots.txt 파일을 사용합니다. 페이지의 검색결과 내 표시 여부만 문제가 된다면 로봇 메타 태그를 사용할 수 있습니다.

로봇 메타 태그를 사용하여 페이지 일부의 색인이 생성되지 못하도록 차단할 수 있나요?

아니요. 로봇 메타 태그는 페이지 수준의 설정입니다.

<head> 섹션 외부에서 로봇 메타 태그를 사용할 수 있나요?

아니요. 로봇 메타 태그는 페이지의 <head> 섹션에 있어야 합니다.

로봇 메타 태그는 크롤링을 허용하지 않나요?

아니요. 로봇 메타 태그가 현재 noindex라고 표시된 경우에도 Google에서는 메타 태그가 변경되었는지 확인하기 위해 가끔 해당 URL을 다시 크롤링해야 합니다.

nofollow 로봇 메타 태그는 rel="nofollow" 링크 속성과 어떻게 다른가요?

nofollow 로봇 메타 태그는 페이지의 모든 링크에 적용됩니다. rel="nofollow" 링크 속성은 페이지의 특정 링크에만 적용됩니다. rel="nofollow" 링크 속성의 자세한 내용은 사용자 생성 스팸rel="nofollow"에 관한 문서를 참고하세요.

X-Robots-Tag HTTP 헤더 관련 질문

URL의 X-Robots-Tag를 확인하려면 어떻게 해야 하나요?

서버 헤더를 보는 간단한 방법은 Google Search Console의 URL 검사 도구 기능을 사용하는 것입니다. URL의 응답 헤더를 확인하려면 '서버 헤더 검사기'를 검색해 보세요.

답변을 찾을 수 없나요?

이 페이지에서 궁금한 점이 해결되지 않은 경우 사이트 소유자를 위한 Google의 도움말 리소스를 확인하세요.

또한 공식 Google 검색 센터 도움말 커뮤니티가 다음 언어로 제공됩니다. EnglishDeutschEspañolFrançaisItalianoNederlandsPolskiPortuguêsTürkçeРусскийالعربية中文(简体)日本語한국어