Os mecanismos de pesquisa só poderão mostrar páginas nos resultados se elas não bloquearem explicitamente a indexação pelos rastreadores. Alguns cabeçalhos HTTP e metatags informam aos rastreadores que uma página não deve ser indexada.
Bloqueie a indexação apenas do conteúdo que você não quer que apareça nos resultados da pesquisa.
Como a auditoria de indexação do Lighthouse falha
O Lighthouse sinaliza páginas que os mecanismos de pesquisa não podem indexar:
O Lighthouse só verifica cabeçalhos ou elementos que bloqueiam todos os rastreadores do mecanismo
de pesquisa. Por exemplo, o elemento <meta> abaixo impede que todos os rastreadores do mecanismo de pesquisa (também conhecidos como robôs) acessem sua página:
<meta name="robots" content="noindex"/>
Esse cabeçalho de resposta HTTP também bloqueia todos os rastreadores:
X-Robots-Tag: noindex
Você também pode ter elementos <meta> que bloqueiam rastreadores específicos, como:
<meta name="Googlebot" content="noindex"/>
O Lighthouse não é reprovado na auditoria de diretivas específicas do rastreador como essa, mas elas ainda podem dificultar a descoberta da sua página. Portanto, use-as com cautela. O Lighthouse emitirá um aviso se uma diretiva específica do rastreador estiver bloqueando um bot de indexação comum.
Como garantir que os mecanismos de pesquisa possam rastrear sua página
Primeiro, certifique-se de que você quer que os mecanismos de pesquisa indexem a página. Algumas páginas, como sitemaps ou conteúdo legal, geralmente não devem ser indexadas. O bloqueio da indexação não impede que os usuários acessem uma página se souberem o URL dela.
Para as páginas que você quer indexar, remova os cabeçalhos HTTP ou elementos <meta>
que estão bloqueando os rastreadores dos mecanismos de pesquisa. Dependendo de como você configura seu site, pode ser necessário seguir algumas ou todas as etapas abaixo:
- Remova o cabeçalho de resposta HTTP
X-Robots-Tagse você configurar um cabeçalho de resposta HTTP:
X-Robots-Tag: noindex
- Remova a seguinte metatag, se ela estiver presente no cabeçalho da página:
<meta name="robots" content="noindex">
- Evite metatags que bloqueiam rastreadores específicos se elas estiverem presentes no cabeçalho da página. Exemplo:
<meta name="Googlebot" content="noindex">
Adicionar mais controle (opcional)
Você pode querer mais controle sobre como os mecanismos de pesquisa indexam sua página. Por exemplo, talvez você não queira que o Google indexe imagens, mas sim o restante da página.
Para informações sobre como configurar elementos <meta> e cabeçalhos HTTP para mecanismos de pesquisa específicos, consulte estes guias:
- Pesquisa Google
- Bing (link em inglês)
- Yandex (link em inglês)