crawl budget
Définition (crawl budget) : le crawl budget (ou budget de crawl) correspond au nombre d’URL qu’un robot d’exploration comme Googlebot peut et veut explorer sur votre site pendant une période donnée. Plus ce budget est bien “dépensé”, plus vos pages importantes ont de chances d’être découvertes et réexplorées au bon rythme.
Le crawl budget devient crucial dès qu’un site grandit : catalogue e-commerce, blog avec beaucoup d’archives, pages de catégories, filtres (facettes), pagination, ou encore sites multilingues. Dans ces cas, une partie du budget peut être gaspillée sur des URLs inutiles au lieu de servir vos pages stratégiques (catégories, fiches produits, pages services, contenus à forte intention).
Concrètement, on parle souvent de problème de budget d’exploration quand :
- les nouvelles pages mettent du temps à être explorées,
- des pages “faibles” sont visitées trop souvent (filtres, recherche interne, pages techniques),
- des pages importantes restent sous-explorées ou sont mal priorisées.
Les causes les plus fréquentes d’un crawl budget mal utilisé sont :
- Contenu dupliqué (mêmes contenus accessibles via plusieurs URLs),
- Paramètres d’URL et facettes (tri, filtres, combinaisons quasi infinies),
- Redirections en chaîne ou boucles de redirection,
- Erreurs serveur (5xx), pages introuvables (404) en grand volume,
- Lenteur : réponses serveur trop lentes, ressources lourdes,
- pages à faible valeur (tags non maîtrisés, pages de recherche interne, pages vides, etc.).
Pour piloter l’optimisation du crawl budget, on croise généralement : les statistiques d’exploration dans la Search Console, l’architecture du site (maillage interne), les sitemaps, et parfois l’analyse de logs serveur. L’objectif est simple : aider Googlebot à passer plus souvent sur les bonnes pages, et moins souvent sur le “bruit”.
Cette étiquette regroupe nos articles pour comprendre, diagnostiquer et améliorer votre budget de crawl : priorisation des URLs, gestion des paramètres, réduction du contenu dupliqué, amélioration des performances, et bonnes pratiques d’indexation.
- Réduisez les URLs inutiles : limitez les facettes et paramètres, évitez les combinaisons infinies.
- Traitez la duplication : canonical cohérent, redirections propres, versions www/non-www et http/https unifiées.
- Améliorez la performance serveur : moins d’erreurs, réponses plus rapides = exploration plus efficace.
- Soignez l’architecture et le maillage interne : vos pages clés doivent être faciles à atteindre.
- Gardez des sitemaps propres : uniquement des URLs indexables et réellement prioritaires.
Nos conseils à propos du crawl budget :
