Para impedir que uma página apareça na Pesquisa Google, inclua uma metatag noindex no código HTML dela ou retorne um cabeçalho noindex na solicitação HTTP. Na próxima vez que o Googlebot rastrear a página, ele verá a tag ou o cabeçalho e excluirá essa página inteiramente dos resultados da Pesquisa Google, mesmo que outros sites direcionem para ela.
O uso de noindex é útil se você não tem acesso à raiz do servidor, já que permite controlar o acesso página por página ao seu site.
Implementação de noindex
Há duas maneiras de implementar noindex: como uma metatag e como um cabeçalho de resposta HTTP. Elas têm o mesmo efeito. Escolha o método mais conveniente para seu site.
Tag <meta>
Para evitar que a maioria dos rastreadores da Web de mecanismos de pesquisa indexem uma página do seu site, insira a seguinte metatag na seção <head> da sua página:
<meta name="robots" content="noindex">
Para impedir que somente os rastreadores da Web do Google indexem uma página:
<meta name="googlebot" content="noindex">
É importante lembrar que alguns rastreadores da Web de mecanismos de pesquisa podem interpretar a diretiva noindex de maneira diferente. Consequentemente, é possível que a página continue sendo exibida nos resultados de outros mecanismos de pesquisa.
Leia mais sobre a metatag noindex.
Ajudar a identificar suas metatags
Temos que rastrear sua página para ver suas metatags. Caso sua página ainda apareça nos resultados, isso indica que provavelmente não rastreamos seu site desde que a tag foi adicionada. É possível solicitar que o Google rastreie sua página novamente usando a Ferramenta de inspeção de URL. Isso também poderá ocorrer se o arquivo robots.txt estiver bloqueando este URL dos rastreadores da Web do Google, impossibilitando a visualização da tag. Para desbloquear sua página do Google, é necessário editar o arquivo robots.txt. Use a ferramenta Testar robots.txt para editar e testar seu arquivo robots.txt.
Cabeçalho de resposta HTTP
Em vez de uma metatag, também é possível retornar um cabeçalho X-Robots-Tag com um valor de noindex ou none na sua resposta. Veja um exemplo de uma resposta HTTP com um X-Robots-Tag que instrui os rastreadores a não indexar uma página:
HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)