Vous avez déjà vu ce message dans la Search Console : « Explorée, actuellement non indexée ». Des semaines passent. Rien ne bouge. Et là, quelqu'un vous sort la phrase magique : « c'est sûrement un problème de crawl budget ». Très bien. Mais quand on demande ce que ça veut dire concrètement, et surtout combien ça coûte, le silence revient.
Le crawl budget — ou budget d'exploration — désigne la quantité d'URL que Googlebot accepte de parcourir sur votre site pendant une période donnée. Ce n'est pas une facturation, ni un quota annoncé par Google. C'est le produit de deux forces : jusqu'où votre serveur tient la charge, et à quel point Google juge vos pages dignes d'être visitées. Comprendre ce mécanisme change la façon dont on diagnostique une panne d'indexation, parce qu'on arrête de chercher au mauvais endroit.
Points clés à retenir
- Le crawl budget combine deux limites : la capacité de votre serveur et la demande d'exploration estimée par Google.
- Un petit site de 200 pages n'atteint presque jamais sa limite. Le sujet devient réel à partir de quelques milliers d'URL.
- Les gaspillages les plus fréquents : paramètres d'URL infinis, pagination mal gérée, pages en 404 liées en interne.
- Le rapport « Statistiques d'exploration » de la Search Console est votre seule source fiable, pas les outils tiers.
- Améliorer la vitesse serveur augmente le budget bien plus vite que n'importe quelle astuce de balisage.
- Une page explorée n'est pas une page indexée : ce sont deux étapes distinctes, et confondre les deux fait perdre des semaines.
Comprendre le crawl budget : ce que Google mesure vraiment
La première fois que j'ai ouvert le rapport d'exploration d'un client e-commerce, j'ai cru à un bug. 1,2 million de requêtes sur une boutique qui comptait à peine 40 000 produits. Google passait six fois sur chaque fiche. Sauf que ce n'était pas six fois sur la même URL : c'était sur des variantes de filtres, des paramètres de tri, des sessions. Le catalogue réel représentait moins de 5 % du volume exploré.
Voilà le piège. On imagine Googlebot comme un visiteur qui lit le site. En réalité, il se comporte comme un robot qui suit tous les liens qu'on lui donne, sans jugement esthétique.
Les deux facteurs qui déterminent votre budget
Google ne publie pas la formule exacte, mais le mécanisme est documenté et stable depuis des années.
- La limite de débit d'exploration : elle dépend de votre infrastructure. Un serveur qui répond en 200 ms autorise beaucoup plus de requêtes simultanées qu'un serveur qui met 3 secondes sous charge. Google réduit automatiquement le rythme quand votre site montre des signes de faiblesse — erreurs 5xx, timeouts.
- La demande d'exploration : ici, c'est Google qui estime. Popularité des pages, fraîcheur du contenu, fréquence de mise à jour, autorité globale du domaine. Une page jamais liée depuis l'extérieur et jamais modifiée descend dans la file d'attente.
La conséquence pratique est contre-intuitive : si votre site est lent, améliorer le contenu ne servira à rien. Et si votre contenu est excellent mais votre serveur poussif, Google ralentira de lui-même. Les deux leviers doivent bouger ensemble.
Pourquoi votre site est probablement concerné (sans le savoir)
On lit partout que le crawl budget ne concerne que les sites à plusieurs milliers de pages. C'est vrai en grande partie. Un blog de 150 articles sera exploré intégralement en quelques jours, quoi qu'il arrive.
Franchement, j'ai longtemps répété cette phrase sans nuance. Puis j'ai audité un site vitrine de 80 pages dont la page « Contact » n'était pas indexée depuis huit mois. Pas de problème de budget. Un noindex oublié dans un template. Le crawl budget était un faux coupable.
Les trois situations où le budget devient réellement un problème
Il y a des configurations où le budget se retrouve réellement saturé. Dans mon expérience, elles se limitent à quelques cas bien identifiés.
- Un catalogue e-commerce avec des milliers de combinaisons de filtres et de tri (couleur × taille × prix × disponibilité).
- Un site international générant des URL par langue et par pays, dont certaines redirigent vers d'autres.
- Une plateforme avec recherche interne accessible par URL, qui laisse Googlebot indexer des milliers de pages de résultats vides.
Sur le troisième cas, j'ai vu un site passer de 180 000 URL explorées à 12 000 en ajoutant simplement une balise noindex sur les pages de recherche interne et en bloquant les paramètres dans le fichier robots.txt. Résultat : les vraies pages produits ont été réexplorées en trois semaines, contre plusieurs mois d'attente auparavant.
Explorer n'est pas indexer : la confusion qui coûte cher
C'est le point que je vois le plus souvent mal compris, y compris chez des gens compétents.
| Étape | Ce qui se passe | Où le voir |
|---|---|---|
| Découverte | Google trouve l'URL via un lien, un sitemap ou une soumission manuelle | Rapport « Pages » de la Search Console |
| Exploration | Googlebot télécharge la page et son code | Statistiques d'exploration + logs serveur |
| Indexation | Le contenu est analysé, jugé utile, ajouté à l'index | Inspection d'URL |
| Diffusion | La page peut apparaître dans les résultats | Rapport « Performances » |
Une page peut donc être explorée quotidiennement et jamais indexée. Dans ce cas, le crawl budget n'est pas le problème : c'est la qualité perçue du contenu ou une balise mal placée. Chercher à augmenter le budget dans ce scénario revient à accélérer une voiture dont le frein à main est serré.
Comment savoir dans quel cas vous êtes
Le test prend dix minutes. Ouvrez la Search Console, rapport « Statistiques d'exploration ». Notez le nombre moyen de requêtes par jour sur les 90 derniers jours. Puis allez dans « Pages » et regardez combien d'URL sont en « Explorée, actuellement non indexée ».
Si ce dernier chiffre dépasse 30 % de votre total d'URL connues, le problème est probablement un mélange des deux. Si l'exploration quotidienne est stable mais que l'indexation stagne, cherchez côté contenu. Les deux mesures ne racontent jamais la même histoire.
La méthode d'audit que j'utilise en cinq étapes
Aucun outil ne vous donnera directement votre « budget ». Il faut le reconstituer. Voici comment je procède, dans cet ordre précis.
Étape 1 : segmenter les types d'URL
Un site n'a pas un budget, il a autant de budgets que de familles d'URL. Fiches produits, catégories, articles de blog, pages de recherche, pages de filtres. Chacune consomme séparément. C'est cette segmentation qui révèle le gaspillage, pas le total.
Étape 2 : croiser logs serveur et Search Console
Les logs serveur vous disent ce que Googlebot a réellement demandé, avec le code de réponse. La Search Console vous dit ce que Google a retenu. L'écart entre les deux est votre zone d'action. Sur un audit récent, l'écart atteignait 40 % des requêtes pointant vers des redirections 301 en chaîne, ce que la Search Console masquait presque entièrement.
Étape 3 : identifier les puits
Un « puits » est une section qui consomme du budget sans jamais produire de valeur. Paramètres de tri, sessions, calendriers, archives de dates. Ils se repèrent facilement dans les logs : gros volume de requêtes, quasi aucune conversion côté Search Console.
Étape 4 : corriger par ordre d'impact
Priorité absolue à la vitesse serveur. Un site qui répond en 150 ms au lieu de 900 ms obtient généralement une hausse d'exploration visible en deux à quatre semaines. Ensuite seulement viennent les noindex, les règles robots.txt et les redirections à nettoyer.
Étape 5 : surveiller la reprise
Ne mesurez pas sur trois jours. Le rythme d'exploration bouge lentement. Je surveille sur des fenêtres de 28 jours, en comparant le ratio « URL explorées / URL indexées ». C'est ce ratio qui doit progresser, pas le volume brut.
Les erreurs que je vois le plus souvent
Bloquer les paramètres d'URL dans robots.txt, puis s'étonner que les pages ne s'indexent pas. C'est la contradiction classique : un Disallow empêche l'exploration, donc Google ne voit jamais le noindex qu'on a mis dessus. Les deux règles se neutralisent.
L'autre erreur, plus discrète : laisser des chaînes de redirections de trois sauts ou plus. Chaque saut consomme une requête, et Google finit par abandonner. Un nettoyage de ces chaînes m'a déjà rendu 15 % de budget sur un site de 20 000 URL, sans toucher à une seule ligne de contenu.
Et une troisième, qui fait sourire : soumettre un sitemap de 500 000 URL pour un site qui n'en compte que 30 000. Google explore le sitemap, découvre des 404, et accorde moins de crédit aux prochaines soumissions. Un sitemap, ça se construit par lots propres.
Quand faut-il vraiment s'inquiéter ?
Si votre site compte moins de 5 000 pages, indexées normalement, sans explosion de paramètres d'URL : vous n'avez pas de problème de crawl budget. Cherchez ailleurs. Vraiment.
Si vous gérez un catalogue de plus de 20 000 URL avec des filtres, un site multilingue, ou une plateforme à contenu généré par les utilisateurs : là, le sujet devient central. Et dans ce cas, la priorité n'est jamais le balisage. Elle est toujours l'infrastructure.
Ce qui me frappe, après plusieurs audits, c'est à quel point le crawl budget est devenu un diagnostic passe-partout. On l'invoque pour expliquer une indexation molle, alors que dans la majorité des cas que j'ai traités, la cause tenait en une ligne : une balise oubliée, un serveur lent, ou une redirection mal configurée. Le budget d'exploration n'est pas un mystère algorithmique. C'est le reflet exact de la santé technique de votre site. Google ne fait que mesurer ce que vous lui offrez.
