Impedir que la Búsqueda indexe páginas con la directiva noindex
Puedes impedir que una página o que un recurso aparezca en la Búsqueda de Google incluyendo una etiqueta meta o un encabezado noindex en la respuesta HTTP. Así, cuando Google vea la etiqueta o el encabezado al volver a rastrear la página, la retirará de los resultados de la Búsqueda de Google aunque otros sitios tengan enlaces a ella.
La directiva noindex es útil si no tienes acceso raíz a tu servidor, ya que te permite controlar el acceso a tu sitio a nivel de página.
Implementar noindex
Puedes implementar noindex de dos formas: como etiqueta meta o como encabezado de respuesta HTTP. Ambos métodos tienen el mismo efecto, así que elige el que mejor se adapte a tu sitio y a tu tipo de contenido.
Etiqueta <meta>
Para impedir que la mayoría de los buscadores indexen una página de tu sitio, coloca la siguiente etiqueta meta en la sección <head> de la página:
<meta name="robots" content="noindex">
Si solo quieres impedir que lo hagan los rastreadores web de Google, incluye esta otra etiqueta meta:
<meta name="googlebot" content="noindex">
Es posible que los rastreadores web de algunos buscadores interpreten la directiva noindex de otra forma, por lo que puede que tu página siga apareciendo en sus resultados.
Más información sobre la etiqueta meta noindex
Encabezado de respuesta HTTP
En vez de usar una etiqueta meta, puedes devolver un encabezado X-Robots-Tag con los valores noindex o none en tu respuesta. Un encabezado de respuesta puede usarse en recursos que no sean HTML (como archivos PDF, de vídeo y de imagen). A continuación, se muestra un ejemplo de una respuesta HTTP con un encabezado X-Robots-Tag que indica a los buscadores que no indexen una página:
HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)
Más información sobre el encabezado de respuesta noindex
Ayúdanos a detectar tus metaetiquetas
Para ver las metaetiquetas y los encabezados HTTP de una página, primero tenemos que rastrearla. Por tanto, si una página sigue apareciendo en los resultados, probablemente sea porque no hemos rastreado tu sitio desde que añadiste la directiva. Puedes solicitar que Google vuelva a rastrear una página con la herramienta de inspección de URLs. También puede ser que el archivo robots.txt esté bloqueando el acceso de los rastreadores web de Google a esa URL y que, por ello, no puedan ver la directiva. Para desbloquear la página y que los rastreadores de Google puedan acceder a ella, edita el archivo robots.txt. Puedes editarlo y probarlo con la herramienta Probador de robots.txt.