Submit your updated robots.txt to Google

Кнопка Проверить в Инструменте проверки файла robots.txt позволяет ускорить сканирование и индексирование нового файла robots.txt. Чтобы передать его в Google, выполните следующие действия:

  1. Нажмите Проверить в правом нижнем углу редактора файла robots.txt. Откроется диалоговое окно передачи.
  2. Чтобы загрузить измененный код файла robots.txt из Инструмента проверки файла robots.txt, нажмите Загрузить.
  3. Добавьте новый файл robots.txt в корневой каталог домена (файл должен иметь следующий URL: /robots.txt).
  4. Если вы не можете загружать файлы в корневой каталог домена, потому что у вас нет на это прав, обратитесь к администратору домена.

    Например, если главная страница вашего сайта расположена по адресу subdomain.example.com/site/example/, возможно, вы не сможете обновить файл subdomain.example.com/robots.txt. В этом случае свяжитесь с владельцем домена example.com/ и попросите внести изменения в файл robots.txt.

  5. Нажмите кнопку Проверить. Вы узнаете, используется ли та версия robots.txt, которую нужно сканировать.
  6. Нажмите Отправить в Google. Система узнает, что файл robots.txt изменен и его нужно сканировать.
  7. Убедитесь, что сканирование нового файла выполнено успешно, обновив страницу "Инструмент проверки файла robots.txt". Окно редактирования будет обновлено, и вы увидите код используемого файла robots.txt. В раскрывающемся меню над текстовым редактором можно узнать, когда робот Google впервые обнаружил последнюю версию файла robots.txt.