更新 robots.txt 文件

若要更新现有 robots.txt 文件中的规则，请从您的网站下载 robots.txt 文件的副本，然后进行必要的修改。

下载 robots.txt 文件

您可以通过多种方式下载 robots.txt 文件，例如：

  • 打开您的 robots.txt 文件（例如 https://example.com/robots.txt），并将其内容复制到计算机上的新文本文件中。在创建新的本地文件时，请务必遵循与文件格式相关的准则。
  • 使用 cURL 等工具下载 robots.txt 文件的实际副本。例如：
    curl https://example.com/robots.txt -o robots.txt
  • 使用 Search Console 中的 robots.txt 报告复制 robots.txt 文件的内容，您随后可将复制的内容粘贴到计算机上的文件中。

修改 robots.txt 文件

在文本编辑器中打开从您的网站下载的 robots.txt 文件，然后对规则进行必要的修改。请确保使用正确的语法，并以 UTF-8 编码格式保存文件。

上传 robots.txt 文件

将新的 robots.txt 文件以文本文件的形式上传到您网站的根目录下，名称仍为 robots.txt。将文件上传到网站的方式在很大程度上取决于平台和服务器。请查看有关将 robots.txt 文件上传到网站的帮助提示。

刷新 Google 的 robots.txt 缓存

在自动抓取过程中，Google 的抓取工具会发现您对 robots.txt 文件所做的更改，并每 24 小时更新一次缓存的版本。如果您需要更快地更新缓存，请使用 robots.txt 报告的请求重新抓取功能。