Tornado SEO

Budget d'exploration

Par Thibault · Mis à jour

Définition

Le budget d'exploration (crawl budget) est l'ensemble des adresses que Google peut et veut explorer sur un site. Il dépend de deux choses : la charge que supporte votre serveur, appelée limite de capacité, et l'intérêt de Google pour vos pages, appelé demande d'exploration.

Quels sites sont concernés par le budget d'exploration ?

Le budget d'exploration concerne surtout les gros sites et les sites qui changent souvent. Google cite trois cas : les sites de plus de 1 million de pages uniques modifiées environ une fois par semaine, les sites de plus de 10000 pages uniques modifiées chaque jour, et les sites dont beaucoup d'adresses sont marquées « Détectée, actuellement non indexée » dans la Search Console. Google précise que ces seuils sont approximatifs. Si votre site compte quelques centaines de pages, Google les explorera sans difficulté et votre temps sera mieux employé ailleurs.

Comment fonctionne le budget d'exploration ?

Le budget d'exploration naît de deux forces : la capacité et la demande. Google traite chaque nom d'hôte comme un site distinct, avec son propre budget.

  1. La limite de capacité : le nombre de connexions simultanées et le temps serveur que Google peut utiliser sans vous surcharger. Elle monte quand votre serveur répond vite et de façon stable. Elle baisse avec des réponses lentes, des erreurs 5xx ou des codes 429.
  2. La demande d'exploration : l'intérêt de Google pour vos adresses. Elle dépend de l'inventaire perçu (toutes les adresses que Google connaît), de la popularité (les pages populaires sont explorées plus souvent) et de la fraîcheur (Google revient pour repérer les changements).

La limite de capacité est partagée entre tous les robots de Google. Une forte demande d'un robot peut laisser moins de place aux autres.

Qu'est-ce qui gaspille le budget d'exploration ?

Le budget se gaspille sur des adresses qui n'auraient jamais dû être explorées. Prenez une boutique en ligne de 20000 produits. Les filtres de couleur, de taille et de tri peuvent créer des centaines de milliers d'adresses quasi identiques. Googlebot passe son temps sur ces combinaisons pendant que les nouvelles fiches produits attendent. Les fausses 404, les chaînes de redirections et le contenu dupliqué font les mêmes dégâts.

Comment optimiser son budget d'exploration ?

On optimise le budget d'exploration en supprimant le gaspillage et en accélérant le serveur. Voici les étapes recommandées par Google :

  1. Regroupez le contenu dupliqué pour que Google explore des pages uniques.
  2. Bloquez dans le robots.txt les adresses que vous ne voulez jamais voir explorées, comme les filtres et les tris.
  3. Renvoyez un code 404 ou 410 pour les pages supprimées définitivement, et corrigez les fausses 404.
  4. Tenez vos sitemaps à jour, avec une date lastmod sur les pages modifiées.
  5. Évitez les longues chaînes de redirections.
  6. Accélérez votre serveur et gérez le cache HTTP, pour que les pages inchangées renvoient un code 304.

N'utilisez pas le noindex pour contrôler l'exploration. Google doit quand même récupérer la page pour lire la balise, donc l'exploration est déjà dépensée.

L'avis de Thibault Je commence toujours par l'accessibilité. Ouvrez le rapport Statistiques sur l'exploration de la Search Console et regardez où Googlebot dépense ses requêtes. Sur presque tous les gros sites que j'audite, une grosse part part dans des paramètres, des filtres et des redirections sans intérêt. Vérifiez aussi votre JavaScript : si vos liens n'existent qu'après le rendu, Google découvre vos pages plus lentement. Supprimez d'abord le gaspillage, cherchez ensuite à obtenir plus de budget.

Questions fréquentes

Le budget d'exploration compte-t-il pour un petit site ?

En général, non. Google indique que son guide s'adresse aux gros sites ou aux sites très souvent modifiés. Si vos pages sont indexées peu après leur publication, vous n'avez pas de problème de budget d'exploration.

Comment augmenter son budget d'exploration ?

Renforcez d'abord votre serveur si la capacité bloque, par exemple quand l'outil d'inspection d'URL affiche « Hostload exceeded ». Augmentez ensuite la demande avec des contenus uniques, utiles et populaires. Google explore davantage ce qu'il juge utile.

Bloquer des pages dans le robots.txt donne-t-il leur budget aux autres pages ?

Pas automatiquement. Selon Google, le budget libéré n'est réutilisé que si le site atteignait déjà sa limite de capacité. Réservez le robots.txt aux adresses que vous ne voulez jamais voir explorées, sans en faire une astuce temporaire.

Sources

  1. developers.google.com/crawling/docs/crawl-budget

Ne ratez plus aucune mise à jour

Google, ChatGPT, Gemini, Claude : ce qui a changé, pourquoi ça compte et quoi faire. Chaque matin, en 3 minutes, gratuitement.

C'est quoi ça… ?