网页已被禁止编入索引

仅当网页未明确阻止搜索引擎抓取工具编入索引时，搜索引擎才能在搜索结果中显示这些网页。某些 HTTP 标头和元标记会告知抓取工具不应将某个网页编入索引。

仅针对您不想显示在搜索结果中的内容阻止 Google 将其编入索引。

Lighthouse 索引编制审核如何失败

Lighthouse 标记了搜索引擎无法编入索引的网页：

Lighthouse 评估结果显示搜索引擎无法将您的网页编入索引

Lighthouse 仅检查阻止所有搜索引擎抓取工具的标头或元素。例如，以下 <meta> 元素会阻止所有搜索引擎抓取工具（也称为漫游器）访问您的网页：

<meta name="robots" content="noindex"/>

此 HTTP 响应标头还会阻止所有抓取工具：

X-Robots-Tag: noindex

您可能还会使用 <meta> 元素来阻止特定抓取工具，例如：

<meta name="Googlebot" content="noindex"/>

Lighthouse 不会通过审核此类抓取工具专用指令，但它们仍可能使您的网页更难被发现，因此使用它们时应格外小心。如果特定于抓取工具的指令阻止了常见的索引编制漫游器，Lighthouse 将发出一条警告。

如何确保搜索引擎可以抓取您的网页

首先，请确保您希望搜索引擎将该网页编入索引。某些网页（如站点地图或合法内容）通常不应编入索引。（请注意，如果用户知道网页网址，则阻止编入索引不会阻止用户访问网页。）

对于您要编入索引的网页，请移除会阻止搜索引擎抓取工具的所有 HTTP 标头或 <meta> 元素。根据您设置网站的方式，您可能需要执行以下部分或全部步骤：

  • 如果您设置 HTTP 响应标头，请移除 X-Robots-Tag HTTP 响应标头：
X-Robots-Tag: noindex
  • 如果网页标头中有以下元标记，请将其移除：
<meta name="robots" content="noindex">
  • 如果网页标头中出现特定抓取工具，请避免使用会屏蔽特定抓取工具的元标记。例如：
<meta name="Googlebot" content="noindex">

添加其他控件（可选）

您可能希望更好地控制搜索引擎将网页编入索引的方式。例如，您可能不希望 Google 将图片编入索引，但确实希望将网页的其余部分编入索引。

如需了解如何针对特定搜索引擎配置 <meta> 元素和 HTTP 标头，请参阅以下指南：

资源