Descripción general de los rastreadores de Google (user-agents)

El término "rastreador" se utiliza de forma genérica para hacer referencia a cualquier programa (como un robot o una araña) que sirve para detectar y analizar automáticamente sitios web siguiendo enlaces de una página web a otra. El rastreador principal de Google es el robot de Google. En la tabla de este artículo se incluye información sobre los rastreadores habituales de Google que puedes encontrar en tus registros de URLs referentes. Además, se indica cómo deben especificarse esos rastreadores en el archivo robots.txt, en las metaetiquetas robots y en las directivas HTTP X-Robots-Tag.

En la tabla que hay más abajo se muestran los rastreadores que usan varios productos y servicios de Google.

  • En la columna Token de user-agent aparecen los valores que debes incluir en la línea User-agent: de tu archivo robots.txt si quieres dirigir una regla de rastreo a ese tipo de rastreador en concreto. Como se muestra en la tabla, algunos rastreadores tienen más de un token; en estos casos, basta con que incluyas uno de ellos en una regla para que el rastreador en cuestión la respete. Esta lista no es exhaustiva, pero incluye la mayoría de los rastreadores que pueden visitar tu sitio web.
  • Los valores de la columna Cadena de user-agent completa son las descripciones completas de cada rastreador, y son las cadenas que verás en las solicitudes y en tus registros web.
Rastreador Token de user-agent (token de producto) Cadena de user-agent completa
APIs-Google

APIs-Google

APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense

Mediapartners-Google

Mediapartners-Google

AdsBot Mobile Web Android

Comprueba la calidad de los anuncios ubicados en las páginas web que se muestran en un dispositivo Android.

AdsBot-Google-Mobile

Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

Comprueba la calidad de los anuncios ubicados en las páginas web que se muestran en un iPhone.

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

Comprueba la calidad de los anuncios ubicados en las páginas web que se muestran en un ordenador.

AdsBot-Google

AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Image
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot-News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot Desktop

Googlebot

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

    o bien (se utiliza con poca frecuencia):
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot Smartphone

Googlebot

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

Mediapartners-Google

(varios tipos de dispositivos móviles) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

Comprueba la calidad de los anuncios ubicados en las páginas web que se muestran en aplicaciones para Android. Sigue las reglas de robots de AdsBot-Google.

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Feedfetcher

FeedFetcher-Google

No sigue las reglas del archivo robots.txt. Averigua por qué.

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

Google-Read-Aloud

No sigue las reglas del archivo robots.txt. Averigua por qué.

User-agents activos:

  • User-agent en ordenadores: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)
  • User-agent en dispositivo móviles: Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)

User-agent antiguo (obsoleto): google-speakr

Duplex web

DuplexWeb-Google

Puede que ignore el comodín *. Averigua por qué.

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36

Google Favicon

Obtiene iconos de página para distintos servicios.

Google Favicon

Ignora las reglas de robots.txt en las solicitudes iniciadas por usuarios.

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
Web Light

googleweblight

No sigue las reglas del archivo robots.txt. Averigua por qué.

Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
Google StoreBot Storebot-Google

User-agent en ordenadores: Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

User-agent en dispositivos móviles: Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

User-agents en archivos robots.txt

Si en un archivo robots.txt se reconocen varios user-agents, Google seguirá el más concreto. Si quieres que todos los rastreadores de Google puedan rastrear tus páginas, no hace falta que utilices ningún archivo robots.txt. Para bloquear o permitir el acceso de todos los rastreadores de Google a parte de tu contenido, especifica el user-agent "Googlebot". Por ejemplo, si quieres que todas tus páginas aparezcan en la Búsqueda de Google y que se muestren anuncios de AdSense en ellas, no necesitas un archivo robots.txt. Del mismo modo, para impedir que determinadas páginas aparezcan en Google, basta con que bloquees el user-agent Googlebot de modo que no pueda acceder a ellas; así bloquearás también el acceso de todos los demás user-agents de Google.

Si lo que quieres es tener un control más preciso, puedes usar restricciones más concretas. Por ejemplo, si quieres que todas tus páginas aparezcan en la Búsqueda de Google, pero no te interesa que se rastreen imágenes de tu directorio personal, puedes configurar del siguiente modo el archivo robots.txt para evitar que el user-agent Googlebot-Image rastree tu directorio personal, pero permitir que el robot de Google rastree todos los archivos:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Veamos otro ejemplo. Si quieres que se muestren anuncios en todas tus páginas, pero no quieres que esas páginas aparezcan en la Búsqueda de Google, bloquea el robot de Google y permite Mediapartners-Google, tal como se muestra a continuación:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

User-agents en metaetiquetas "robots"

Hay páginas que utilizan varias metaetiquetas "robots" para especificar directivas dirigidas a distintos rastreadores, tal como se muestra a continuación:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

En este caso, Google seguirá todas las directivas negativas, por lo que el robot de Google respetará las directivas noindex y nofollow. Más información sobre cómo controlar el modo en que Google rastrea e indexa sitios