robots.txt 테스터 도구의 제출 기능을 사용하면 사이트의 새로운 robots.txt 파일을 쉽게 업데이트하고, 새로운 robots.txt 파일을 더 빠르게 크롤링 및 사용하도록 Google에 요청할 수 있습니다. 아래 단계를 따라 robots.txt 파일을 업데이트하고 변경사항을 Google에 알립니다.
- robots.txt 편집기의 오른쪽 하단에서 제출을 클릭합니다. 이렇게 하면 '제출' 대화상자가 열립니다.
- 제출 대화상자에서 다운로드를 클릭하여 robots.txt 테스터 페이지에서 수정된 robots.txt 코드를 다운로드합니다.
- 새 robots.txt 파일을 도메인의 루트에 robots.txt라는 이름의 텍스트 파일로 업로드합니다(robots.txt 파일의 URL은
/robots.txt여야 함).도메인의 루트에 파일을 업로드할 권한이 없는 경우 도메인 관리자에게 문의하여 변경해야 합니다.
예를 들어, 사이트 홈페이지가
subdomain.example.com/site/example/아래에 있다면subdomain.example.com/robots.txt에서 robots.txt 파일을 업데이트하지 못할 수도 있습니다. 이 경우example.com/의 소유자에게 연락하여 robots.txt 파일에 필요한 변경사항을 적용해야 합니다. - 업로드된 버전 보기를 클릭하여 서비스 중인 robots.txt가 Google에서 크롤링하기를 바라는 버전이 맞는지 확인합니다.
- 제출을 클릭하여 Google에 robots.txt 파일의 변경사항을 알리고 변경된 버전을 크롤링하도록 요청합니다.
- 도구 편집기를 업데이트하고 서비스 중인 robots.txt 코드를 보려면 브라우저에서 페이지를 새로고침하여 Google이 최신 버전을 크롤링하는 데 성공했는지 확인합니다. 페이지를 새로고침한 후 텍스트 편집기 위에 있는 드롭다운 메뉴를 클릭하여 robots.txt 파일의 최신 버전을 처음 인식한 시점을 보여 주는 타임스탬프를 확인할 수 있습니다.