Indexation : définition, fonctionnement et blocages

L’indexation est l’opération par laquelle un moteur de recherche enregistre une page dans son index, la base de données qu’il interroge pour répondre aux requêtes. Une page non indexée n’existe pas dans les résultats, quelle que soit sa qualité. Trois étapes se succèdent et se confondent souvent : l’exploration, l’indexation, puis le classement.

Ce que l’indexation désigne exactement

Un moteur ne parcourt pas le web à chaque recherche. Il interroge un index constitué à l’avance, comparable au catalogue d’une bibliothèque : chaque fiche décrit un ouvrage, ses thèmes et sa place dans les rayons. La requête d’un visiteur passe par le catalogue, jamais par les rayons eux-mêmes.

La documentation de Google Search Central distingue trois étapes dans le fonctionnement de la recherche : l’exploration, qui récupère le contenu d’une adresse, l’indexation, qui analyse ce contenu et décide de le retenir, puis la diffusion des résultats, qui sélectionne les pages pertinentes pour une requête donnée. Les confondre produit des diagnostics faux : une page explorée n’est pas encore une page indexée, et une page indexée n’est pas pour autant positionnée.

Ce découpage a une conséquence pratique immédiate. Un problème d’exploration et indexation se corrige avec des outils techniques, quand un problème de classement se traite par le contenu et les liens. S’occuper du second alors que le premier bloque revient à repeindre une porte fermée à clé.

Le mot circule aussi dans d’autres domaines, ce qui brouille les recherches. En économie, indexer un montant signifie le faire varier selon un indice de référence, par exemple l’indice des prix à la consommation publié par l’Insee, mécanisme retenu dans certains loyers, pensions et contrats. En informatique, un index de base de données accélère la recherche d’un enregistrement parmi des millions. En documentation et en archivistique, indexer un document consiste à lui attribuer des descripteurs pour le retrouver plus tard. Le sens traité ici, celui des moteurs de recherche, reste très proche de ce dernier : décrire un document pour pouvoir le ressortir au bon moment.

Comment un moteur décide d’indexer une page

La découverte vient en premier. Google Search Central cite trois voies : les pages déjà visitées lors de passages précédents, les liens trouvés sur des pages connues et les adresses soumises dans un plan de site. Une page qui ne reçoit aucun lien interne et n’apparaît dans aucun plan de site dépend du hasard pour être trouvée.

L’exploration proprement dite suit. Le robot récupère le code de la page, puis le rend : la documentation précise que Google affiche la page et exécute le JavaScript qu’elle contient avec une version récente de Chrome. Un contenu injecté après le chargement initial peut donc être vu, sans que cela constitue une garantie dans tous les cas de figure.

Vient ensuite l’analyse. Le moteur examine le texte, les balises, les images et les vidéos, repère les contenus en double et choisit une adresse de référence parmi les variantes d’une même page. Cette URL canonique est celle qui pourra s’afficher dans les résultats ; les autres restent connues du moteur sans être montrées aux visiteurs.

La décision d’indexer n’a rien d’automatique. Google Search Central écrit noir sur blanc que l’indexation n’est pas garantie et que toutes les pages traitées ne seront pas indexées. La même source cite trois causes fréquentes : une qualité de contenu insuffisante, des règles robots qui interdisent l’indexation, une conception de site qui complique l’accès des robots. Ce troisième point relève directement du travail décrit dans notre dossier sur les fondamentaux du SEO on-site.

Vérifier si une page est indexée

Deux méthodes de fiabilité inégale renseignent sur l’indexation Google d’une adresse précise.

La première est Google Search Console, l’interface gratuite réservée aux propriétaires de sites. Son outil d’inspection d’URL donne l’état d’une adresse : indexée ou non, adresse canonique retenue par Google, dernier passage du robot, résultat d’un test en direct sur la page telle qu’elle répond au moment de la demande. Son rapport d’indexation des pages fournit la vue d’ensemble, avec la liste des adresses non indexées et le motif attaché à chacune.

Les intitulés de ce rapport méritent d’être lus littéralement. « Détectée, actuellement non indexée » signale une adresse connue mais pas encore explorée. « Explorée, actuellement non indexée » désigne une page lue et laissée de côté : le problème se situe alors du côté du contenu, pas de la technique. Les autres motifs pointent des causes explicites, balise d’exclusion, blocage d’exploration, page en double dont le moteur a retenu une autre version.

La seconde méthode consiste à taper la commande site: suivie d’une adresse dans le moteur. Le procédé rend service pour un contrôle rapide sur une page précise, mais ne fournit ni inventaire exhaustif ni total fiable. Un écart entre ce décompte et les chiffres de Search Console ne prouve rien en soi.

Un dernier réflexe évite beaucoup de fausses alertes : rechercher une phrase exacte du texte, entre guillemets. Si la page ressort sur cette phrase, sa présence dans l’index est établie et la difficulté se déplace vers la concurrence sur la requête visée.

Les blocages qui reviennent le plus souvent

Six causes couvrent la grande majorité des situations rencontrées sur des sites réels :

• une balise noindex laissée en place après une refonte ou une mise en ligne ;
• une interdiction d’exploration dans le fichier robots.txt, souvent héritée d’un environnement de préproduction ;
• une balise canonique qui désigne une autre page, parfois l’accueil, par erreur de configuration ;
• un contenu jugé trop mince ou trop proche d’une autre page du même site ;
• des pages orphelines, qu’aucun lien interne ne relie au reste du site ;
• des réponses serveur qui ferment l’accès : erreurs 404, codes 401 ou 403, redirections en chaîne.

Les deux premières causes se confondent constamment, et la documentation de Google tranche le point sans ambiguïté. Le fichier robots.txt gouverne l’exploration, pas la mise à l’index : Google Search Central écrit qu’il ne s’agit pas d’un mécanisme destiné à tenir une page à l’écart de la recherche. Une adresse interdite mais liée depuis d’autres sites peut apparaître dans les résultats, dépourvue de description, puisque son contenu n’a jamais été lu.

Le piège se referme quand les deux directives se cumulent. Une page interdite dans le robots.txt et porteuse d’une balise noindex reste indexable : le robot n’entre pas, donc il ne voit jamais la consigne. La documentation le formule dans ces termes, pour que la règle noindex produise son effet, la page ne doit pas être bloquée par le fichier robots.txt et doit rester accessible au robot.

L’adresse canonique demande la même vigilance. Google Search Central classe les signaux par force : une redirection et une balise rel="canonical" pèsent lourd, une simple présence dans le plan de site pèse faiblement, et sans indication du site le moteur choisit lui-même la version qu’il juge la meilleure à montrer. Une canonique qui pointe ailleurs que sur la page elle-même se lit donc comme une demande de ne pas afficher cette page.

Reste le contenu, cause la plus fréquente sur les sites anciens. Un article qui reprend un sujet déjà traité ailleurs sur le domaine entre en concurrence avec lui, et le moteur tranche parfois en n’en retenant qu’une seule version. La cartographie des sujets décrite dans notre analyse de ce qu’un audit SEO contient vraiment sert précisément à repérer ces doublons, de préférence avant publication.

Fiabiliser l’indexation des pages utiles

Aucune méthode ne force l’entrée d’une page dans l’index. Quatre pratiques augmentent nettement ses chances.

Le sitemap vient d’abord, avec la limite énoncée par Google Search Central : ce fichier aide les moteurs à découvrir des adresses, sans garantir que tous les éléments qu’il déclare seront explorés et indexés. Son utilité se concentre sur les sites volumineux, les sites récents qui reçoivent peu de liens externes et les sites riches en médias ; la même source situe autour de cinq cents pages le petit site complètement maillé qui peut s’en dispenser. Un plan de site propre ne déclare que des adresses indexables, en réponse 200, sans variantes redirigées ni pages exclues.

Le maillage interne joue un rôle au moins équivalent. Une page reliée depuis plusieurs contenus thématiquement proches se trouve plus vite et se revisite plus souvent. La logique de circulation exposée dans notre méthode du cocon sémantique répond à ce besoin autant qu’à la répartition de l’autorité interne.

La demande d’indexation existe dans l’outil d’inspection d’URL de Search Console. Elle signale une page nouvelle ou modifiée, sans priorité acquise ni délai annoncé, et son usage garde du sens sur quelques adresses stratégiques. À l’échelle d’un site entier, elle ne remplace ni un plan de site à jour ni des liens internes cohérents.

Reste le fond, que rien ne compense. Une page qui répond à une demande identifiée, avec un angle propre et un développement substantiel, franchit l’étape sans difficulté particulière. La publication massive de pages faibles produit l’effet inverse : le motif « Explorée, actuellement non indexée » se multiplie et le site consomme l’attention du robot sur des adresses sans valeur.

Désindexer volontairement, sans dégâts

La démarche inverse a ses règles, et la plus contre-intuitive vient d’être vue : interdire l’exploration ne retire pas une page de l’index.

La désindexation propre passe par la règle noindex, posée dans l’en-tête HTML de la page, ou par l’en-tête HTTP X-Robots-Tag pour les fichiers non HTML comme les documents PDF. Condition impérative, rappelée par la documentation : l’adresse doit rester explorable, sinon la consigne ne sera jamais lue.

Le délai dépend ensuite du rythme de passage du robot. Google Search Central prévient qu’un nouveau passage sur une page peut demander des mois selon l’importance qu’il lui accorde, et renvoie vers l’outil d’inspection d’URL ou vers une demande de suppression pour les retraits pressés. La suppression d’URL de Search Console agit à titre temporaire : elle masque une adresse, elle ne règle rien de durable.

Trois cas de figure couvrent l’essentiel des besoins :

• une page devenue inutile se supprime, avec un code 410 ou un 404 assumé plutôt qu’une redirection de confort vers l’accueil ;
• une page utile aux visiteurs mais sans intérêt pour la recherche, panier, filtre, résultat de tri, se garde explorable et marquée noindex ;
• un espace strictement privé se protège par mot de passe côté serveur, seule barrière réellement étanche, les autres dispositifs reposant sur une consigne respectée de bonne foi.

Par où commencer sur un site existant

Première action utile : ouvrez le rapport d’indexation des pages de Google Search Console et triez les adresses non indexées par motif. Les balises noindex oubliées et les blocages du robots.txt se corrigent dans la journée. Les pages explorées et non retenues demandent un arbitrage éditorial, fusion, réécriture ou suppression. Les pages sans lien entrant se règlent par du maillage depuis les contenus qui traitent le même sujet. Laissez ensuite passer plusieurs cycles d’exploration avant de juger l’effet, et gardez la trace écrite de chaque correction : cette discipline de suivi fait partie du travail décrit dans notre présentation du consultant en référencement naturel.