Qu’est-ce que le crawl ?
Le crawl, ou exploration, désigne le passage des robots des moteurs de recherche sur les pages d’un site. Googlebot suit les liens d’une page à l’autre, lit le contenu et le code, puis transmet ces informations à Google, qui décide ensuite de les indexer ou non.
À quoi sert le crawl ?
Sans crawl, pas de visibilité : une page que Google n’a jamais explorée ne peut pas entrer dans son index. C’est la toute première étape avant l’indexation et le positionnement.
Faciliter l’exploration de votre site, c’est aider Google à trouver rapidement vos nouveaux contenus et à ne pas perdre de temps sur des pages inutiles. C’est un chantier central du SEO technique.
Comment ça fonctionne ?
Le robot de Google procède en plusieurs temps :
- Il part d’URL connues : pages déjà explorées, liens venus d’autres sites, sitemap.
- Il suit les liens présents sur chaque page pour en découvrir de nouvelles.
- Il respecte vos consignes : le fichier robots.txt peut lui interdire certaines zones du site.
Google consacre à chaque site un temps d’exploration limité, souvent appelé « budget de crawl ». Plus votre site est rapide et bien structuré, mieux ce budget est utilisé.
Un exemple concret
Un site e-commerce génère des milliers d’URL de filtres (couleur, taille, prix). Googlebot passe son temps sur ces pages sans intérêt et néglige les nouvelles fiches produits. En bloquant les filtres dans le robots.txt et en renforçant les liens vers les produits, le site voit ses nouveautés explorées beaucoup plus vite.
Les erreurs à éviter
- Bloquer par erreur des ressources importantes (CSS, JavaScript) dans le robots.txt : Google voit alors une page incomplète.
- Laisser des pages orphelines, sans aucun lien interne : le robot ne les trouve pas. Un bon maillage interne règle le problème.
- Multiplier les redirections en chaîne et les erreurs 404, qui gaspillent le temps d’exploration.
Questions fréquentes sur le crawl
Le crawl est la visite de la page par le robot. L’indexation est la décision de Google d’enregistrer cette page dans sa base pour pouvoir l’afficher. Une page peut être explorée sans être indexée.
La Google Search Console propose un rapport « Statistiques sur l’exploration » qui indique le nombre de pages explorées par jour, les temps de réponse et les éventuelles erreurs rencontrées par Googlebot.