robots.txt 파일 업데이트

기존 robots.txt 파일의 규칙을 업데이트하려면 robots.txt 파일의 사본을 사이트에서 다운로드하여 필요에 따라 수정합니다.

robots.txt 파일 다운로드

robots.txt 파일은 다음과 같은 여러 가지 방법으로 다운로드할 수 있습니다.

  • robots.txt 파일로 이동(예: https://example.com/robots.txt)하여 콘텐츠를 컴퓨터의 새 텍스트 파일로 복사합니다. 새 로컬 파일을 만들 때는 파일 형식과 관련된 가이드라인을 따라야 합니다.
  • cURL과 같은 도구를 사용하여 robots.txt 파일의 실제 사본을 다운로드합니다. 예: 
    curl https://example.com/robots.txt -o robots.txt
  • Search Console의 robots.txt 테스터를 사용하여 robots.txt 파일의 사본을 다운로드합니다.
    1. robots.txt 편집기의 오른쪽 하단에서 제출을 클릭합니다. 이렇게 하면 '제출' 대화상자가 열립니다.
    2. 제출 대화상자에서 다운로드를 클릭하여 robots.txt 테스터 페이지에서 robots.txt 코드를 다운로드합니다.

robots.txt 파일 수정

사이트에서 다운로드한 robots.txt 파일을 텍스트 편집기에서 열고 필요에 따라 규칙을 수정합니다. 올바른 구문을 사용하고 UTF-8 인코딩으로 파일을 저장해야 합니다.

robots.txt 파일 업로드

새 robots.txt 파일을 이름이 robots.txt인 텍스트 파일로 도메인 루트에 업로드합니다. 파일을 사이트에 업로드하는 방법은 플랫폼과 서버에 따라 크게 달라집니다. 사이트에 robots.txt 파일을 업로드하는 데 도움이 되는 팁을 확인하세요.

Google의 robots.txt 캐시 새로고침

자동 크롤링 프로세스 중에 Google 크롤러는 robots.txt 파일의 변경사항을 감지하고 24시간마다 캐시된 버전을 업데이트합니다. 캐시를 더 빠르게 업데이트해야 한다면 robots.txt 테스터의 제출 기능을 사용합니다.

  1. 업로드된 버전 보기를 클릭하여 서비스 중인 robots.txt가 Google에서 크롤링하기를 바라는 버전이 맞는지 확인합니다.
  2. 제출을 클릭하여 Google에 robots.txt 파일의 변경사항을 알리고 변경된 버전을 크롤링하도록 요청합니다.
  3. 도구 편집기를 업데이트하고 서비스 중인 robots.txt 코드를 보려면 브라우저에서 페이지를 새로고침하여 Google이 최신 버전을 크롤링했는지 확인합니다. 페이지를 새로고침한 후 드롭다운을 클릭하여 Google이 최신 버전의 robots.txt 파일을 처음 인식한 시점의 타임스탬프를 확인할 수도 있습니다.