Especificações meta tag Robots, data-nosnippet e X-Robots-Tag

Este documento explica como as configurações da página e do texto podem ser usadas para ajustar a forma como o Google apresenta seu conteúdo nos resultados da pesquisa. Você pode especificar configurações da página incluindo uma tag meta em páginas HTML ou em um cabeçalho HTTP. Também é possível especificar configurações no nível do texto usando o atributo data-nosnippet nos elementos HTML de uma página.

Essas configurações só vão poder ser lidas e seguidas se os rastreadores tiverem permissão para acessar as páginas que as incluem.

A regra <meta name="robots" content="noindex"> se aplica aos rastreadores de mecanismos de pesquisa. Para bloquear os rastreadores que não são de pesquisa, como AdsBot-Google, pode ser necessário adicionar regras segmentadas ao rastreador específico (por exemplo, <meta name="AdsBot-Google" content="noindex">).

Como usar a tag robots meta

A tag robots meta permite usar uma abordagem detalhada e específica da página para controlar a indexação e a exibição de uma página individual aos usuários nos resultados da Pesquisa Google. Posicione a tag robots meta na seção <head> de uma determinada página, desta forma:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex">
(…)
</head>
<body>(…)</body>
</html>

Neste exemplo, a tag robots meta instrui os mecanismos de pesquisa a não mostrar a página nos resultados da pesquisa. O valor do atributo name (robots) especifica que a regra é aplicada a todos os rastreadores. Os atributos name e content não diferenciam maiúsculas de minúsculas. Para gerenciar um rastreador específico, substitua o valor robots do atributo name pelo token do user agent do rastreador que está sendo abordado. O Google é compatível com dois tokens de user agent na tag robots meta. Outros valores são ignorados:

  1. googlebot: para todos os resultados de texto
  2. googlebot-news: para resultados de notícias

Por exemplo, para instruir o Google especificamente a não mostrar uma página nos resultados da pesquisa, especifique googlebot como o nome da tag meta:

<meta name="googlebot" content="noindex">

Para exibir uma página nos resultados da pesquisa na Web do Google, mas não no Google Notícias, use a tag googlebot-news meta:

<meta name="googlebot-news" content="noindex">

Para especificar vários rastreadores individualmente, use diversas tags robots meta:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

Para bloquear a indexação de recursos não HTML, como arquivos PDF, de vídeo ou de imagem, use o cabeçalho de resposta X-Robots-Tag.

Como usar o cabeçalho HTTP X-Robots-Tag

O X-Robots-Tag pode ser usado como um elemento da resposta do cabeçalho HTTP para um determinado URL. Qualquer regra que possa ser usada em uma meta tag robots também pode ser especificada como X-Robots-Tag. Veja um exemplo de uma resposta HTTP com um X-Robots-Tag que instrui os rastreadores a não indexar uma página:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

É possível combinar vários cabeçalhos X-Robots-Tag na resposta HTTP ou especificar uma lista de regras separadas por vírgulas. Veja um exemplo de resposta de cabeçalho HTTP com uma X-Robots-Tag noarchive combinada a uma X-Robots-Tag unavailable_after.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

A X-Robots-Tag pode, opcionalmente, especificar um user agent antes das regras. Por exemplo, o conjunto de cabeçalhos HTTP X-Robots-Tag a seguir pode ser usado para permitir a exibição condicional de uma página nos resultados da pesquisa em diferentes mecanismos:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

As regras especificadas sem um user agent são válidas para todos os rastreadores. O cabeçalho HTTP, o nome do user agent e os valores especificados não diferenciam maiúsculas de minúsculas.

Regras válidas de indexação e exibição

As regras a seguir, também disponíveis em formato legível por máquina, podem ser usadas para controlar a indexação e a exibição de um snippet com robots meta e X-Robots-Tag. Cada valor representa uma regra específica. É possível combinar várias regras em uma lista separada por vírgulas ou em tags meta separadas. Essas regras não diferenciam maiúsculas de minúsculas.

Regras

all

Não há restrições para a indexação nem para a exibição. Essa regra é o valor padrão e não vai ter efeito se for listada explicitamente.

noindex

Não mostrar esta página, mídia ou recurso nos resultados da pesquisa. Se você não especificar essa regra, a página, a mídia ou o recurso poderá ser indexado e exibido nos resultados da pesquisa.

Para remover informações do Google, siga o guia explicativo.

nofollow

Não seguir os links nesta página. Se você não especificar essa regra, o Google vai usar os links na página para descobrir essas páginas vinculadas. Saiba mais sobre nofollow.

none

É equivalente a noindex, nofollow.

noarchive

Não exibir um link em cache nos resultados da pesquisa. Se você não especificar essa regra, o Google vai gerar uma página em cache, que vai poder ser acessada nos resultados da pesquisa.

nositelinkssearchbox

Não exibir uma caixa de pesquisa de sitelinks nos resultados de pesquisa da página. Se você não especificar essa regra, o Google vai gerar uma caixa de pesquisa específica para seu site nos resultados da pesquisa, além de outros links diretos para o site.

nosnippet

Não exibir um snippet de texto ou uma visualização de vídeo nos resultados da pesquisa para esta página. Uma miniatura de imagem estática (se disponível) continuará visível se essa opção resultar em uma melhor experiência do usuário. Isso vai ser aplicado a todas as formas de resultados da pesquisa (na Pesquisa Google na Web, no Imagens do Google e no Discover). As visões gerais da SGE do Google também não vão mostrar conteúdo bloqueado usando nosnippet.

Se você não especificar essa regra, talvez o Google gere um snippet de texto e uma visualização de vídeo com base nas informações encontradas na página.

indexifembedded

O Google tem permissão para indexar o conteúdo de uma página quando ela está incorporada em outra por iframes ou tags HTML semelhantes, mesmo que haja uma regra noindex.

indexifembedded só tem efeito se acompanhada por noindex.

max-snippet: [number]

Usar no máximo [number] caracteres como um snippet textual para esse resultado da pesquisa. Um URL pode aparecer várias vezes em uma página de resultados da pesquisa. Isso não afeta as visualizações de imagens nem de vídeos. Isso vai ser aplicado a todas as formas de resultados da pesquisa (como Pesquisa Google na Web, Imagens do Google, Discover e Google Assistente). As visões gerais da SGE do Google também não vão mostrar conteúdo além do limite especificado. No entanto, esse limite não vai ser aplicado nos casos em que um editor conceder permissão para o uso de conteúdo separadamente. Por exemplo, se o editor enviar conteúdo na forma de dados estruturados in-page ou tiver um contrato de licença com o Google, essa configuração não vai interromper esses usos mais específicos. Essa regra vai ser ignorada se nenhum [number] for especificado.

Se você não especificar essa regra, o Google vai escolher o tamanho do snippet.

Valores especiais:

  • 0: nenhum snippet deve ser exibido. É equivalente a nosnippet.
  • -1: o Google escolherá o comprimento do snippet que acredita ser mais eficaz para ajudar os usuários a descobrir o conteúdo e direcioná-los ao seu site.

Exemplo:

Para interromper a exibição de um snippet nos resultados da pesquisa:

<meta name="robots" content="max-snippet:0">

Para exibir até 20 caracteres no snippet:

<meta name="robots" content="max-snippet:20">

Para especificar que não há limite para o número de caracteres que podem ser exibidos no snippet:

<meta name="robots" content="max-snippet:-1">

max-image-preview: [setting]

Definir o tamanho máximo de uma visualização de imagem para esta página em um resultado da pesquisa.

Se você não especificar a regra max-image-preview, o Google vai mostrar uma visualização de imagem do tamanho padrão.

Valores de [setting] aceitos:

  • none: nenhuma visualização de imagem deve ser exibida.
  • standard: uma visualização de imagem padrão pode ser exibida.
  • large: uma visualização de imagem maior, até a largura da janela de visualização, pode ser exibida.

Isso será aplicado a todas as formas de resultados da pesquisa (como Pesquisa Google na Web, Imagens do Google, Discover e Google Assistente). No entanto, esse limite não será aplicado nos casos em que um editor conceder permissão para o uso de conteúdo separadamente. Por exemplo, se o editor fornecer conteúdo na forma de dados estruturados in-page (como AMP ou versões canônicas de um artigo) ou tiver um contrato de licença com o Google, essa configuração não interromperá esses usos mais específicos.

Se você não quiser que o Google use imagens em miniatura maiores quando as páginas AMP e versões canônicas de um artigo forem exibidas na Pesquisa ou no Discover, especifique um valor de standard ou none para max-image-preview.

Exemplo:

<meta name="robots" content="max-image-preview:standard">

max-video-preview: [number]

Usar no máximo [number] segundos como snippet para vídeos desta página nos resultados da pesquisa.

Se você não especificar a regra max-video-preview, o Google vai exibir um snippet de vídeo nos resultados da pesquisa e decidir a duração de visualização.

Valores especiais:

  • 0: no máximo, uma imagem estática pode ser usada, de acordo com a configuração max-image-preview.
  • -1: não há limite.

Isso vai ser aplicado a todas as formas de resultados da pesquisa (na Pesquisa Google na Web, no Imagens do Google, no Google Videos, no Discover e no Google Assistente). Essa regra vai ser ignorada se nenhum [number] for especificado.

Exemplo:

<meta name="robots" content="max-video-preview:-1">

notranslate

Não oferecer tradução desta página nos resultados da pesquisa. Se você não especificar essa regra, o Google talvez forneça uma tradução do link de título e snippet de um resultado da pesquisa para resultados que não estejam no idioma da consulta de pesquisa. Se o usuário clicar no link de título traduzido, todas as outras interações dele com a página serão feitas pelo Google Tradutor, que traduz automaticamente os links seguidos.

noimageindex

Não indexar imagens nesta página. Se você não especificar esse valor, as imagens na página poderão ser indexadas e exibidas nos resultados da pesquisa.

unavailable_after: [date/time]

Não exibir esta página nos resultados da pesquisa após a data/hora especificada. A data/hora precisa ser especificada em um formato amplamente utilizado, o que inclui, entre outros, RFC 822, RFC 850 e ISO 8601. A regra vai ser ignorada se não for especificada uma data/hora válida. Por padrão, não há data de validade para o conteúdo.

Se você não especificar essa diretiva, a página talvez seja exibida nos resultados da pesquisa indefinidamente. O Googlebot vai diminuir a taxa de rastreamento do URL consideravelmente após a data e a hora especificadas.

Exemplo:

<meta name="robots" content="unavailable_after: 2020-09-21">

Como processar regras combinadas de indexação e exibição

É possível criar uma instrução de várias regras combinando regras de tag robots meta com vírgulas ou usando várias tags meta. Veja um exemplo de tag robots meta que instrui os rastreadores da Web a não indexar a página e não rastrear quaisquer links na página:

Lista separada por vírgulas

<meta name="robots" content="noindex, nofollow">

Várias tags meta

<meta name="robots" content="noindex">
<meta name="robots" content="nofollow">

Veja um exemplo que limita o snippet de texto a 20 caracteres e permite uma visualização de imagem grande:

<meta name="robots" content="max-snippet:20, max-image-preview:large">

Para situações em que vários rastreadores são especificados com regras diferentes, o mecanismo de pesquisa vai usar a soma das regras negativas. Exemplo:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

A página que contém essas tags meta vai ser interpretada como proprietária de uma regra noindex, nofollow ao ser rastreada pelo Googlebot.

Como usar o atributo HTML data-nosnippet

Você pode determinar que partes textuais de uma página HTML não sejam usadas como snippet. Isso pode ser feito em um elemento HTML com o atributo HTML data-nosnippet nos elementos span, div e section. O data-nosnippet é considerado um atributo booleano. Como acontece com todos os atributos booleanos, qualquer valor especificado é ignorado. Para garantir a legibilidade pelas máquinas, é preciso que a seção tenha HTML válido e todas as tags sejam fechadas corretamente.

Exemplo:

<p>This text can be shown in a snippet
<span data-nosnippet>and this part would not be shown</span>.</p>

<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>
<div data-nosnippet="false">also not in snippet</div>
<!-- all values are ignored -->

<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->

<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->

<p>This text can be shown in a snippet.</p>
<div data-nosnippet>
  <p>However, this is not in snippet.</p>
  <ul>
    <li>Stuff not in snippet</li>
    <li>More stuff not in snippet</li>
  </ul>
</div>

Normalmente, o Google processa páginas para indexação, mas a renderização não é garantida. Por isso, a extração de data-nosnippet pode acontecer antes e depois da renderização. Para evitar problemas na renderização, não adicione nem remova o atributo data-nosnippet dos nós existentes pelo JavaScript. Ao adicionar elementos DOM da página usando JavaScript, inclua o atributo data-nosnippet conforme necessário. Ao usar elementos personalizados, envolva ou renderize-os com elementos div, span ou section, caso seja necessário incluir data-nosnippet.

Como usar dados estruturados

As tags Robots meta controlam a quantidade de conteúdo que o Google extrai automaticamente das páginas da Web para exibição como resultados da pesquisa. Porém, muitos editores também usam dados estruturados do schema.org para disponibilizar informações específicas para apresentações de pesquisa. As limitações da tag Robots meta não afetam o uso desses dados estruturados, exceto pelos valores article.description e description especificados para outros trabalhos de criativos. Para especificar o comprimento máximo de uma visualização com base nesses valores description, use a regra max-snippet. Por exemplo, os dados estruturados recipe de uma página vão ser incluídos no carrossel de receitas, mesmo que a visualização do texto seja limitada. É possível limitar o tamanho de uma visualização de texto com max-snippet, mas a tag robots meta não vai se aplicar quando as informações forem enviadas nos dados estruturados para pesquisa aprimorada.

Para gerenciar o uso de dados estruturados nas suas páginas da Web, modifique os tipos de dados estruturados e valores propriamente ditos, adicionando ou removendo informações a fim de enviar somente o conteúdo que deve ser disponibilizado. Os dados estruturados ainda podem ser usados para resultados da pesquisa quando declarados em um elemento data-nosnippet.

Implementação prática de X-Robots-Tag

Você pode adicionar o X-Robots-Tag às respostas HTTP de um site nos arquivos de configuração do software do servidor da Web do seu site. Por exemplo, em servidores da Web baseados em Apache, você pode usar arquivos .htaccess e httpd.conf. A vantagem de usar um X-Robots-Tag com respostas HTTP é que isso possibilita especificar regras de rastreamento que são aplicadas globalmente em um site. O suporte a expressões regulares possibilita um alto grau de flexibilidade.

Por exemplo, para adicionar uma X-Robots-Tag noindex, nofollow à resposta HTTP em todos os arquivos .PDF do site, adicione o snippet a seguir ao arquivo raiz .htaccess ou httpd.conf no Apache ou ao arquivo .conf do site no NGINX.

Apache

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

Use X-Robots-Tag para arquivos não HTML, como arquivos de imagem, em que o uso de tags robots meta em HTML não é possível. Veja um exemplo de adição de uma regra X-Robots-Tag noindex para arquivos de imagens (.png, .jpeg, .jpg, .gif) em todo o site:

Apache

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

NGINX

location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

Também é possível definir o cabeçalho X-Robots-Tag de cada arquivo estático:

Apache

# the htaccess file must be placed in the directory of the matched file.
<Files "unicorn.pdf">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX

location = /secrets/unicorn.pdf {
  add_header X-Robots-Tag "noindex, nofollow";
}

Como combinar regras do robots.txt com regras de indexação e exibição

As tags robots meta e os cabeçalhos HTTP X-Robots-Tag são detectados quando um URL é rastreado. Se uma página não tiver permissão para rastrear o arquivo robots.txt, nenhuma informação sobre diretivas de indexação ou exibição vai ser encontrada e, assim, vai ser ignorada. Se as regras de indexação ou exibição precisarem ser seguidas, os URLs com essas regras não vão poder ter o rastreamento proibido.