Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Présentation des robots d'exploration Google (user-agents)
Le terme générique "robot d'exploration", ou plus simplement "robot", désigne tout programme qui permet de découvrir et d'analyser automatiquement des sites Web en suivant des liens d'une page Web à une autre. Notre robot d'exploration principal s'appelle Googlebot. Le tableau ci-après présente les caractéristiques des robots d'exploration Google classiques qui peuvent figurer dans les fichiers journaux de votre URL de provenance, ainsi que la manière dont ils doivent être indiqués dans le fichier robots.txt, dans les balises metarobots et dans les règles HTTP X-Robots-Tag.
Le tableau suivant présente les robots utilisés par divers produits et services Google :
Le jeton user-agent est utilisé dans la ligne User-agent: du fichier robots.txt pour indiquer le type de robot d'exploration lors de l'écriture des règles d'exploration pour votre site. Comme indiqué dans le tableau, certains robots utilisent plusieurs jetons. Un seul jeton de robot doit correspondre pour qu'une règle s'applique. Cette liste n'est pas exhaustive, mais couvre la plupart des robots que vous pouvez voir sur votre site Web.
La chaîne user-agent complète est une description complète du robot d'exploration. Elle apparaît dans la requête HTPP ainsi que dans vos journaux Web.
Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
Remarque concernant Chrome/W.X.Y.Z dans les user-agents :
Chaque fois que vous voyez Chrome/W.X.Y.Z dans les chaînes du user-agent dans ce tableau, sachez que W.X.Y.Z est un espace réservé qui correspond à la version du navigateur Chrome utilisée par ce user-agent (par exemple, 41.0.2272.96). Ce numéro de version augmente au fil du temps afin de représenter la dernière version de Chromium utilisée par Googlebot.
Si vous effectuez une recherche dans vos journaux ou si vous filtrez votre serveur afin d'identifier un user-agent avec ce format, utilisez des caractères génériques pour le numéro de version au lieu de spécifier un numéro de version précis.
User-agents dans le fichier robots.txt
Lorsque plusieurs user-agents sont reconnus dans le fichier robots.txt, Google suit le plus spécifique d'entre eux. Si vous souhaitez que tous nos robots d'exploration puissent explorer vos pages, vous n'avez pas besoin de fichier robots.txt. En revanche, si vous voulez bloquer ou autoriser l'accès de nos robots d'exploration à certains de vos contenus, vous pouvez indiquer Googlebot comme user-agent. Par exemple, si vous souhaitez que toutes vos pages s'affichent dans la recherche Google et que des annonces AdSense soient diffusées sur celles-ci, vous n'avez pas besoin de fichier robots.txt. De même, si vous souhaitez nous empêcher d'accéder à certaines pages, vous pouvez bloquer le user-agent Googlebot. Tous nos autres user-agents seront alors bloqués eux aussi.
Toutefois, vous pouvez contrôler l'exploration de vos pages de manière plus précise. Par exemple, vous souhaiterez peut-être que toutes vos pages s'affichent dans la recherche Google, mais que les images de votre répertoire personnel ne soient pas explorées. Dans ce cas, utilisez le fichier robots.txt pour interdire au user-agent Googlebot-Image d'explorer les fichiers de votre répertoire personnel (tout en autorisant Googlebot à explorer tous vos fichiers) :
Prenons un autre exemple. Supposons que vous souhaitiez voir s'afficher des annonces sur l'ensemble de vos pages. Toutefois, vous ne voulez pas que ces pages s'affichent dans la recherche Google. En utilisant ces lignes de code, vous bloquez Googlebot, mais autorisez le user-agent Mediapartners-Google :
Chaque robot d'exploration Google accède aux sites à des fins spécifiques et à une fréquence qui varie. Google utilise des algorithmes pour déterminer la vitesse d'exploration optimale pour chaque site. Si un robot d'exploration Google explore votre site trop souvent, vous pouvez réduire sa vitesse d'exploration.
Robots d'exploration Google supprimés
Les robots d'exploration Google suivants ne sont plus utilisés et ne sont notés ici qu'à titre indicatif.
Robots d'exploration Google supprimés
Duplex sur le Web
Compatible avec le service Duplex sur le Web
Jeton user-agent
DuplexWeb-Google
Chaîne user-agent complète
Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
Web Light
Vérifiait de la présence de l'en-tête no-transform chaque fois qu'un utilisateur cliquait sur votre page dans la recherche, dans les conditions appropriées Le user-agent Web Light n'était utilisé que pour les requêtes de navigation explicites d'un visiteur humain. Il pouvait donc ignorer les règles du fichier robots.txt, qui bloquent les requêtes d'exploration automatisée.
Jeton user-agent
googleweblight
Chaîne user-agent complète
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
