Как обновить файл robots.txt

Чтобы обновить правила в существующем файле robots.txt, скачайте его копию с сайта и внесите необходимые изменения.

Как скачать файл robots.txt

Скачать файл robots.txt можно разными способами, например следующими:

  • Перейдите по адресу файла, такому как https://example.com/robots.txt, и скопируйте его содержимое в новый текстовый файл, созданный на компьютере. Обязательно следуйте инструкциям в отношении формата.
  • Скачайте копию файла robots.txt с помощью специального инструмента, такого как cURL. Пример:
    curl https://example.com/robots.txt -o robots.txt
  • Воспользуйтесь Инструментом проверки файла robots.txt в Search Console.
    1. Нажмите Отправить в правом нижнем углу редактора файла robots.txt. Откроется диалоговое окно отправки.
    2. Чтобы сохранить на компьютер файл robots.txt из Инструмента проверки файла robots.txt, нажмите Скачать.

Как изменить файл robots.txt

Откройте файл robots.txt, скачанный с сайта, в текстовом редакторе, и внесите необходимые изменения в правила. Используйте поддерживаемый синтаксис и обязательно сохраните файл в кодировке UTF-8.

Как загрузить файл robots.txt

Загрузите новый текстовый файл robots.txt в корневой каталог домена. Способ загрузки зависит от того, какую платформу и какой сервер вы используете. Ознакомьтесь с нашими рекомендациями.

Как обновить кеш Google для файла robots.txt

При автоматическом сканировании поисковые роботы Google регистрируют изменения, которые вы внесли в файл robots.txt. Обновление кешированной версии выполняется каждые 24 часа. Если вы хотите обновить кеш быстрее, воспользуйтесь функцией Отправить в Инструменте проверки файла robots.txt.

  1. Нажмите кнопку Просмотреть добавленную версию. Так вы сможете узнать, правильная ли версия robots.txt используется.
  2. Нажмите Отправить. Наши сервисы узнают, что файл robots.txt изменен и его необходимо просканировать.
  3. Чтобы узнать, успешно ли просканирован измененный файл, обновите страницу "Инструмент проверки файла robots.txt". Окно редактирования будет обновлено, и вы увидите код используемого файла robots.txt. Из меню над текстовым редактором можно узнать, когда робот Google впервые обнаружил последнюю версию файла robots.txt.