Descripción general de los rastreadores de Google (usuario-agentes)

El término "rastreador" (también llamado "robot" o "araña") es un término genérico que se usa para cualquier programa que descubre y analiza automáticamente sitios web siguiendo vínculos de una página a otra. El rastreador principal de Google se llama Googlebot. En la tabla que aparece a continuación, se incluyen datos sobre los rastreadores habituales de Google que puedes encontrar en tus registros de referentes y cómo deberían especificarse en robots.txt, en las etiquetas robots meta y en las reglas HTTP X-Robots-Tag.

En la siguiente tabla, se indican los rastreadores que usan diferentes productos y servicios de Google:

  • El token de usuario-agente se usa en la línea User-agent: de robots.txt para establecer coincidencias con un tipo de rastreador cuando escribes las reglas de rastreo correspondientes a tu sitio. Algunos rastreadores tienen más de un token, como se puede ver en la tabla. En esos casos, basta con establecer la coincidencia con un solo token de rastreo para que se aplique una regla. La lista no es exhaustiva, pero abarca la mayoría de los rastreadores que podrías ver en tu sitio web.
  • La string de usuario-agente completa es la descripción entera del rastreador y aparece en la solicitud HTTP y en tus registros web.

Rastreadores

APIs-Google

Token de usuario-agente APIs-Google
String de usuario-agente completa APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

AdsBot para Web móvil en Android

Comprueba la calidad de los anuncios de las páginas web en dispositivos Android.

Token de usuario-agente AdsBot-Google-Mobile
String de usuario-agente completa Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot para Web móvil

Comprueba la calidad de los anuncios de las páginas web en dispositivos iPhone.

Token de usuario-agente AdsBot-Google-Mobile
String de usuario-agente completa Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

Comprueba la calidad de los anuncios de las páginas web en computadoras.

Token de usuario-agente AdsBot-Google
String de usuario-agente completa AdsBot-Google (+http://www.google.com/adsbot.html)

AdSense

Token de usuario-agente Mediapartners-Google
String de usuario-agente completa Mediapartners-Google

Googlebot para imágenes

Tokens de usuario-agente
  • Googlebot-Image
  • Googlebot
String de usuario-agente completa Googlebot-Image/1.0

Googlebot para noticias

Tokens de usuario-agente
  • Googlebot-News
  • Googlebot
String de usuario-agente completa El usuario-agente Googlebot-News usa las diferentes strings del usuario-agente de Googlebot.

Googlebot-Video

Tokens de usuario-agente
  • Googlebot-Video
  • Googlebot
String de usuario-agente completa Googlebot-Video/1.0

Googlebot para computadoras de escritorio

Token de usuario-agente Googlebot
Strings de usuario-agente completas
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot para smartphones

Token de usuario-agente Googlebot
String de usuario-agente completa Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

AdSense para dispositivos móviles

Token de usuario-agente Mediapartners-Google
String de usuario-agente completa (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Apps móviles para Android

Comprueba la calidad de los anuncios de las páginas de apps para Android. Obedece las reglas de robots de AdsBot-Google.

Token de usuario-agente AdsBot-Google-Mobile-Apps
String de usuario-agente completa AdsBot-Google-Mobile-Apps

Feedfetcher

Token de usuario-agente FeedFetcher-Google
String de usuario-agente completa FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Lectura en voz alta de Google

Token de usuario-agente Google-Read-Aloud
Strings de usuario-agente completas

Agentes actuales:

  • Agente para computadoras de escritorio:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)
  • Agente para dispositivos móviles:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)

Agente anterior (obsoleto):

google-speakr

Ícono de página de Google

Token de usuario-agente
  • Googlebot-Image
  • Googlebot
String de usuario-agente completa Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon

Google StoreBot

Token de usuario-agente Storebot-Google
Strings de usuario-agente completas
  • Agente para computadoras de escritorio:

    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

  • Agente para dispositivos móviles:

    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

Google Site Verifier

Token de usuario-agente Google-Site-Verification
String de usuario-agente completa Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

Nota sobre Chrome/W.X.Y.Z en usuarios-agentes

Siempre que veas la string Chrome/W.X.Y.Z en las strings de usuario-agente de la tabla, W.X.Y.Z es un marcador de posición que representa la versión del navegador Chrome que utiliza ese usuario-agente (por ejemplo, 41.0.2272.96). Con el paso del tiempo, el número de versión aumentará para coincidir con la versión de actualización más reciente de Chromium que use Googlebot.

Si recorres tus registros o filtras un servidor en busca de un usuario-agente con este patrón, usa comodines para el número de versión en lugar de especificar un número exacto.

Usuarios-agentes en robots.txt

Si en un archivo robots.txt se reconocen varios usuarios-agentes, Google seguirá los más específicos. Si quieres que Google rastree tus páginas, no necesitas un archivo robots.txt. Si quieres bloquear o permitir el acceso de todos los rastreadores de Google a parte de tu contenido, especifica que Googlebot sea el usuario-agente. Por ejemplo, si quieres que todas tus páginas aparezcan en la Búsqueda de Google y que se muestren anuncios de AdSense en ellas, no necesitas un archivo robots.txt. Del mismo modo, si quieres evitar que los rastreadores de Google accedan a algunas páginas, puedes bloquear el usuario-agente Googlebot para que también se bloquee el resto de los usuarios-agentes de Google.

Si prefieres llevar un control más preciso, puedes aplicar una restricción más específica. Quizás te gustaría que todas tus páginas aparezcan en la Búsqueda de Google, pero que no se rastreen las imágenes de tu directorio personal. En ese caso, puedes usar robots.txt para inhabilitar el usuario-agente Googlebot-Image a fin de que deje de rastrear los archivos de tu directorio personal (pero permitir que Googlebot rastree todos los archivos) de la siguiente manera:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Veamos otro ejemplo. Si quieres que todas tus páginas tengan anuncios, pero prefieres que ninguna aparezca en la Búsqueda de Google, bloquea Googlebot y permite que funcione el usuario-agente Mediapartners-Google, de la siguiente manera:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Usuarios-agentes en etiquetas robots meta

Algunas páginas usan varias etiquetas robots meta para especificar reglas para distintos rastreadores de la siguiente manera:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

En este caso, Google usará la suma de las reglas negativas, y Googlebot seguirá las reglas noindex y nofollow. Obtén más información detallada para controlar la manera en que Google rastrea e indexa tu sitio.

Cómo controlar la velocidad de rastreo

Cada rastreador de Google accede a sitios para un propósito específico y a velocidades diferentes. Google utiliza algoritmos para determinar la frecuencia de rastreo óptima de cada sitio. Si un rastreador de Google rastrea tu sitio con demasiada frecuencia, puedes reducir la frecuencia de rastreo.

Rastreadores de Google que se dieron de baja

Los siguientes rastreadores de Google ya no están en uso y solo se indican aquí como referencia histórica.

Rastreadores de Google que se dieron de baja

Duplex en la Web

Se admite el servicio web de Duplex en la Web.

Token de usuario-agente DuplexWeb-Google
String de usuario-agente completa Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

Web Light

Se verificó la presencia del encabezado no-transform cuando un usuario haga clic en tu página en la Búsqueda si es que cumple las condiciones apropiadas. El usuario-agente de Web Light solo se usa para las solicitudes explícitas de navegación de un visitante humano, por lo que puede ignorar las reglas de robots.txt, cuyo fin es bloquear las solicitudes de rastreo automáticas.

Token de usuario-agente googleweblight
String de usuario-agente completa Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19