使用 noindex 阻止搜索引擎编入索引
您可以通过在 HTTP 响应中包含 noindex 元标记或标头，阻止网页或其他资源显示在 Google 搜索中。当 Googlebot 下次抓取该网页并发现该标记或标头时，Google 就会完全阻止该网页出现在 Google 搜索结果中，不论是否有其他网站链接到该网页。
如果您不具备对服务器的根访问权限，可借助非常实用的 noindex 控制对您网站中各个网页的访问权限。
实施 noindex
实施 noindex 的方法有两种：将其作为元标记实施，或作为 HTTP 响应标头实施。这两种方法的效果相同，从中选择更方便您网站采用并且更适合相应内容类型的那一种方法即可。
<meta> 标记
若想阻止大部分搜索引擎将您网站中的某个网页编入索引，请将以下元标记放入该网页的 <head> 部分中：
<meta name="robots" content="noindex">
若想仅阻止 Google 网页抓取工具将网页编入索引，请使用以下元标记：
<meta name="googlebot" content="noindex">
请注意，某些搜索引擎对 noindex 指令可能会有不同的解读。因此，您的网页可能仍会出现在其他搜索引擎的结果中。
HTTP 响应标头
除了使用元标记，您还可在响应中返回一个值为 noindex 或 none 的 X-Robots-Tag 标头。响应标头可用于非 HTML 资源，例如 PDF、视频文件和图片文件。下面是一个 HTTP 响应示例，它含有一个 X-Robots-Tag，用来指示搜索引擎不要将某一网页编入索引：
HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)
帮助我们发现您的元标记
我们必须抓取您的网页，才能看到元标记和 HTTP 标头。如果某个网页仍显示在搜索结果中，可能是因为在您添加标记后我们尚未抓取过该网页。您可以使用网址检查工具请求 Google 重新抓取您的网页。此外，也可能是因为 robots.txt 文件阻止 Google 网页抓取工具访问该网址，因此这些抓取工具无法发现此标记。若要允许 Google 访问您的网页，您必须修改 robots.txt 文件。您可以使用 robots.txt 测试工具修改和测试 robots.txt。