Réduire la vitesse d'exploration de Google

L'infrastructure de robots d'exploration Google utilise des algorithmes perfectionnés pour déterminer la vitesse d'exploration optimale pour un site. Notre objectif est d'explorer autant de pages de votre site que possible à chaque visite, sans surcharger votre serveur. Dans certains cas, l'exploration de votre site par Google peut entraîner une surcharge critique sur votre infrastructure ou des coûts indésirables lors d'une panne. Pour remédier à ce problème, vous pouvez décider de réduire le nombre de requêtes effectuées par les robots d'exploration Google.

Comprendre la cause d'une forte augmentation de l'exploration

Une forte augmentation de l'exploration peut être due à des inefficacités dans la structure de votre site ou à d'autres problèmes. D'après les rapports que nous avons reçus par le passé, les causes les plus courantes sont les suivantes :

• Une configuration inefficace des URL sur le site, généralement en raison d'une fonctionnalité spécifique du site :
  • Navigation à facettes ou autres fonctionnalités de tri et de filtrage
  • Calendrier avec de nombreuses URL pour des dates spécifiques
• Une cible d'annonce dynamique du Réseau de Recherche

Nous vous recommandons vivement de contacter votre société d'hébergement et d'examiner les journaux d'accès récents de votre serveur pour identifier la source du trafic et déterminer si elle correspond à l'une des causes courantes de l'augmentation soudaine de l'exploration. Ensuite, consultez nos guides sur la gestion de l'exploration des URL de navigation à facettes et l'optimisation de l'efficacité de l'exploration.

Réduire de toute urgence le trafic des robots d'exploration

Avertissement : Lorsque vous envisagez de réduire la vitesse d'exploration de Google, gardez à l'esprit que les effets de cette action seront globaux. En ce qui concerne la recherche Google, Googlebot découvrira moins de nouvelles pages, les pages existantes seront actualisées moins fréquemment (par exemple, le prix et la disponibilité des produits pourront prendre plus de temps pour apparaître dans la recherche Google), et les pages supprimées pourront rester plus longtemps dans l'index. En ce qui concerne Google Ads, vos campagnes peuvent être annulées ou suspendues, et il est possible que vos annonces ne soient pas diffusées.

Pour réduire la vitesse d'exploration de manière urgente pendant une courte période (par exemple, quelques heures, ou un à deux jours), renvoyez un code d'état de réponse HTTP 500, 503 ou 429 au lieu de 200 aux demandes d'exploration.

Lorsque l'infrastructure d'exploration de Google rencontre un nombre important d'URL avec des codes d'état de réponse HTTP 500, 503 ou 429 (par exemple, si vous avez désactivé votre site) :

• Il réduit la vitesse d'exploration de votre site sur l'ensemble du nom d'hôte (par exemple, subdomain.example.com), y compris les URL qui renvoient des erreurs et celles qui renvoient du contenu.
• Il augmente automatiquement la vitesse d'exploration une fois le nombre d'erreurs réduit.

Lorsque vous renvoyez un code d'état 503 ou 429, vous pouvez également inclure un en-tête HTTP Retry-After (tel que défini dans la RFC 9110 sur la sémantique HTTP) pour indiquer quand les robots d'exploration Google peuvent réessayer la requête, en utilisant un délai en secondes ou une date et une heure UTC absolues :

• Un délai en secondes :

  HTTP/1.1 503 Service Unavailable
  Retry-After: 120

• Une date et une heure UTC absolues :

  HTTP/1.1 503 Service Unavailable
  Retry-After: Wed, 21 Oct 2026 07:28:00 GMT

Avertissement : Nous vous déconseillons d'adopter cette approche pendant une longue période (plus d'un à deux jours), car cela pourrait avoir un impact négatif sur la façon dont votre site apparaît dans les produits Google. Par exemple, dans le cas de la recherche Google, si Googlebot observe ces codes d'état sur la même URL pendant plusieurs jours, l'URL peut être supprimée de l'index Google.

Demandes exceptionnelles de réduction de la vitesse d'exploration

Si vous ne pouvez pas transmettre d'erreurs aux robots d'exploration Google sur votre infrastructure, envoyez une demande spéciale pour signaler un problème de vitesse d'exploration inhabituellement élevée. Mentionnez le taux optimal pour votre site dans votre demande. Notez que vous ne pouvez pas demander d'augmentation de la vitesse d'exploration. De plus, l'évaluation et le traitement de la demande peuvent prendre plusieurs jours.