Impedir que la Búsqueda indexe páginas con la directiva noindex
Puedes impedir que una página o que un recurso aparezca en la Búsqueda de Google incluyendo una metaetiqueta o un encabezado noindex en la respuesta HTTP. Así, cuando el robot de Google vea la etiqueta o el encabezado al volver a rastrear la página, la retirará de los resultados de la Búsqueda de Google aunque otros sitios tengan enlaces a ella.
La directiva noindex es útil si no tienes acceso raíz a tu servidor, ya que te permite controlar el acceso a tu sitio a nivel de página.
Implementar noindex
Puedes implementar noindex de dos formas: como metaetiqueta o como encabezado de respuesta HTTP. Ambos métodos tienen el mismo efecto, así que elige el que mejor se adapte a tu sitio y a tu tipo de contenido.
Etiqueta <meta>
Para impedir que los rastreadores web de la mayoría de los buscadores indexen una página de tu sitio, coloca la siguiente metaetiqueta en la sección <head> de la página:
<meta name="robots" content="noindex">
Si solo quieres impedir que lo hagan los rastreadores web de Google, incluye esta otra metaetiqueta:
<meta name="googlebot" content="noindex">
Es posible que los rastreadores web de algunos buscadores interpreten la directiva noindex de otra forma, por lo que puede que tu página siga apareciendo en sus resultados.
Más información sobre la metaetiqueta noindex
Encabezado de respuesta HTTP
En vez de usar una metaetiqueta, puedes devolver un encabezado X-Robots-Tag con los valores noindex o none en tu respuesta. Un encabezado de respuesta puede usarse en recursos que no sean HTML (como archivos PDF, de vídeo y de imagen). A continuación se muestra un ejemplo de una respuesta HTTP que incluye un encabezado X-Robots-Tag que indica a los rastreadores que no indexen una página:
HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)
Más información sobre el encabezado de respuesta noindex
Ayúdanos a detectar tus metaetiquetas
Para ver las metaetiquetas y los encabezados HTTP de una página, primero tenemos que rastrearla. Por tanto, si una página sigue apareciendo en los resultados, probablemente sea porque no hemos rastreado tu sitio desde que añadiste la directiva. Puedes solicitar que Google vuelva a rastrear una página con la herramienta de inspección de URLs. También puede ser que el archivo robots.txt esté bloqueando el acceso de los rastreadores web de Google a esa URL y que, por ello, no puedan ver la directiva. Para desbloquear la página y que los rastreadores de Google puedan acceder a ella, modifica el archivo robots.txt. Puedes editarlo y probarlo con la herramienta Probador de robots.txt.