Une page indexée qui ne reçoit aucun trafic. Une autre, jamais indexée, qui cartonne en recherche. J'ai vu les deux cas dans la même semaine, sur deux sites différents, et c'est exactement ce qui m'a poussé à écrire cet article : la plupart des gens confondent le crawling et l'indexation, et cette confusion les fait optimiser au mauvais endroit.
Techniquement, ce sont deux étapes distinctes du même pipeline. L'une est un robot qui lit votre page. L'autre est une base de données qui décide de la garder. Entre les deux, il y a un vide que beaucoup de webmasters ne comblent jamais.
Points clés à retenir
- Le crawling, c'est la découverte et la lecture d'une URL par un robot. L'indexation, c'est la décision de la stocker comme résultat potentiel.
- Une page peut être crawlée sans être indexée. L'inverse est beaucoup plus rare.
- robots.txt bloque le crawl. noindex bloque l'indexation. Ce sont deux mécanismes séparés, et les confondre est l'erreur la plus fréquente en SEO technique.
- Le rendu JavaScript se situe entre les deux étapes. C'est là que beaucoup de sites se cassent sans qu'on le voie.
- Diagnostiquer, c'est regarder les rapports Exploration et Pages dans la Search Console, séparément.
- Optimiser le crawl n'a aucun intérêt si la page est ensuite rejetée à l'indexation.
Crawling vs indexation : la différence qui change votre façon de travailler
Je vais poser la chose le plus simplement possible, parce que j'ai l'impression qu'on tourne autour du pot depuis des années.
Le crawling, c'est un robot qui visite une URL, récupère son code HTML, exécute éventuellement son JavaScript, et en repart. Il stocke ce qu'il a vu. Point.
L'indexation, c'est le moteur qui examine cette copie et qui décide — ou non — de la conserver dans sa base, avec une série de signaux associés (pertinence, qualité, duplication, intention). Une page indexée est une page qui peut apparaître dans un résultat de recherche. Pas une page qui apparaît. Nuance gigantesque.
Pourquoi cette distinction compte plus que vous ne le pensez
Sur un site e-commerce que je suivais il y a deux ans, environ 40 000 URLs étaient crawlées chaque mois par les robots. Sur ces 40 000, moins de 9 000 étaient réellement indexées. Le reste ? Des pages de filtres à faible valeur, des paramètres d'URL en pagination, des doublons générés par un module de tri mal configuré.
Le référenceur précédent passait ses journées à optimiser le crawl : sitemap, maillage, vitesse serveur. Résultat net après six mois : zéro. Le problème n'était pas le crawl. Le problème était que Google refusait d'indexer 78% de ce qu'il explorait.
Voilà pourquoi il faut arrêter de traiter le crawling et l'indexation comme un seul bloc.
Le pipeline réel, étape par étape
Beaucoup d'articles sautent de "le robot arrive" à "la page est dans Google". Dans les faits, il y a cinq étapes, et chacune peut casser indépendamment des autres.
1. Découverte de l'URL
Le robot n'explore pas le web au hasard. Il part d'un stock d'URL connues : liens entrants externes, sitemap XML, liens internes depuis des pages déjà connues, redirections, historique. Si votre page n'est liée nulle part et n'est pas dans un sitemap, elle n'existe pas pour lui.
Un cas concret : un client avait publié 300 articles sur un blog. Aucun n'était dans le sitemap à cause d'un plugin cassé. Résultat, la moitié n'a jamais été découverte — donc jamais crawée, donc jamais indexée. On a corrigé le sitemap en une après-midi. En trois semaines, le trafic organique du blog a augmenté de 60%.
2. Crawl
Le robot récupère la page. Il lit le code source, applique les règles de robots.txt, respecte (ou non) le crawl-delay, et note les liens sortants à explorer plus tard. Si votre serveur répond en 6 secondes ou renvoie une 503, le crawl sera repoussé, parfois pour des semaines.
3. Rendu
C'est l'étape que personne ne mentionne et qui bouffe le plus de sites modernes. Si votre contenu est injecté via JavaScript, le moteur doit exécuter ce JavaScript avant de voir le contenu réel. Un site React mal configuré peut très bien être crawlée — la coquille HTML vide est bien récupérée — mais le texte n'y est pas. Donc rien à indexer.
J'ai fait l'erreur sur un projet en 2023. Le HTML initial pesait 8 Ko, sans un mot du contenu. Le rendu complet atteignait 240 Ko. Il a fallu deux mois pour comprendre pourquoi les pages apparaissaient en recherche avec des extraits vides.
4. Indexation
Une fois la version rendue disponible, le moteur décide. Il peut indexer, ne pas indexer, ou indexer sous une autre URL (canonical). Les critères : unicité du contenu, valeur ajoutée, qualité perçue, signaux de confiance. Le noindex dans la balise meta ou l'en-tête X-Robots-Tag bloque net.
5. Classement
Une page indexée n'est pas une page classée. Le classement est une couche complètement séparée, basée sur la pertinence face à une requête donnée. Une URL peut être indexée et ne jamais apparaître en position 1 pour quoi que ce soit. C'est normal. C'est même le cas de la majorité des pages d'un site.
robots.txt vs noindex : l'erreur qui tue des sites
Si vous ne retenez qu'une chose de cet article, retenez ceci.
| Mécanisme | Ce qu'il bloque | Où il se place | Effet sur l'index |
|---|---|---|---|
robots.txt (Disallow) | Le passage du robot | Fichier à la racine du site | La page n'est pas crawlée, mais peut rester indexée si elle est liée ailleurs |
noindex (meta) | L'ajout à l'index | Dans le <head> de la page | La page est crawlée, puis retirée de l'index |
X-Robots-Tag: noindex | L'ajout à l'index (via en-tête HTTP) | En-tête de réponse serveur | Pratique pour PDF, images, fichiers non-HTML |
canonical | La duplication | Dans le <head> | La page est crawlée, l'index pointe vers l'URL canonique |
Le piège classique : mettre un Disallow: /dossier-secret/ dans le robots.txt, en pensant que ça empêchera l'indexation. Faux. Le robot ne crawl plus la page, donc il ne lit plus la balise noindex qui s'y trouve. Si un lien externe pointe vers cette URL, elle peut se retrouver dans l'index avec un titre vide et un extrait minable. J'ai vu cette catastrophe sur au moins trois sites en audit. Le remède est toujours le même : retirer le Disallow, laisser le robot passer, laisser le noindex faire son travail, attendre le nettoyage.
Comment diagnostiquer concrètement dans la Search Console
Deux rapports, deux lectures.
Rapport « Exploration des pages »
Il vous dit ce que le robot a fait : combien d'URL explorées, combien en erreur, combien bloquées par robots.txt, combien en 404, combien en redirection. C'est le rapport du crawl. Il ne dit rien de l'indexation.
Rapport « Pages » (couverture)
Il vous dit ce que l'index a fait : combien d'URL valides, combien exclues, et pourquoi. Les motifs d'exclusion sont parlants : « Explorée, actuellement non indexée », « Exclue par la balise noindex », « Autre page canonique », « Détectée, actuellement non indexée ». Si vous voyez beaucoup de « explorée, non indexée », votre problème est à l'étape 4, pas à l'étape 2.
Petite règle que j'applique désormais systématiquement : avant de toucher au maillage interne ou de générer un nouveau sitemap pour booster le crawl, je vérifie le ratio indexé/crawlé. S'il est inférieur à 50% sur un site de contenu, je sais que le problème est ailleurs.
Questions qu'on me pose souvent
Une page peut être crawlée mais pas indexée ?
Oui, et c'est même le cas le plus courant. La page est lue, puis rejetée : contenu trop proche d'une autre URL, qualité jugée insuffisante, balise noindex, canonical pointant ailleurs. Le crawl s'est bien passé. C'est l'indexation qui a échoué.
Combien de temps entre le crawl et l'indexation ?
Franchement, il n'y a pas de réponse universelle. Sur un site bien structuré et déjà connu, une nouvelle URL peut être crawlée et indexée en quelques heures. Sur un site neuf ou peu lié, comptez plusieurs semaines. Et parfois, ça n'arrive jamais — pas parce que le robot n'est pas passé, mais parce que la page n'a pas convaincu le moteur.
Est-ce que bloquer le crawl empêche l'indexation ?
Non, et c'est contre-intuitif. Un Disallow empêche le robot de lire la page, mais pas de la trouver via d'autres signaux. Il peut l'indexer avec un titre et un extrait approximatifs. Pour empêcher l'indexation, il faut un noindex — et donc laisser le robot accéder à la page pour qu'il le lise.
Faut-il optimiser le crawl ou l'indexation en premier ?
L'indexation. Toujours. Optimiser le crawl pour envoyer 100 000 URLs vers un index qui n'en accepte que 10 000, c'est du gaspillage pur. Commencez par comprendre pourquoi vos pages sont rejetées, corrigez la cause, et seulement après accélérez la cadence d'exploration.
Ce qu'il faut vraiment retenir
Le crawling et l'indexation sont deux verrous différents sur la même porte. Forcer le premier ne sert à rien si le second reste fermé.
Et il y a une chose que je n'avais pas anticipée quand j'ai commencé à creuser ce sujet : plus le web se remplit de contenu généré à la chaîne, plus la sélection à l'indexation devient stricte. Le crawl, lui, reste généreux — les robots explorent tout ce qu'ils trouvent. C'est l'index qui filtre, de plus en plus durement, et ce filtre ne se voit pas depuis votre tableau de bord d'exploration.
La prochaine fois que votre trafic baisse sans que rien n'ait changé côté serveur, ne regardez pas vos logs de crawl. Regardez le rapport Pages. La réponse y est presque toujours.
