Comment fonctionne l'indexation d'un site web par Google ?

L'indexation d'un site web sur Google est un sujet fondamental en référencement naturel. Pour les néophytes, on peut définir simplement l'index Google comme une énorme base de données dans laquelle il range toutes les pages web qu'il trouve intéressantes. Le moteur de recherche ira ensuite piocher dans cet index pour proposer les résultats les plus pertinents aux utilisateurs. Il est donc essentiel d'y être répertorié et d'être "indexé".

Avec l'évolution permanente d'internet, Google a su mettre à jour régulièrement les processus de rafraichissement de son index avec notamment un travail important depuis quelques années sur le mobile-first.

Pour indexer votre site et entrer officiellement sur le terrain de jeu du SEO, quelques étapes de base sont à respecter. Les clients de notre agence SEO à Bordeaux nous posent fréquemment les mêmes questions sur ce sujet :

• Comment faire pour que mon site soit indexé par Google ?
• Combien de temps faut-il pour que mon site soit indexé ?
• Comment vérifier l'indexation de mon site ?
• Comment bloquer l'indexation d'une page sur Google ?

Nous avons fait en sorte d'y répondre le plus simplement possible pour vous permettre d'appliquer directement nos conseils sur votre site.

L'index Google : qu'est-ce vraiment ?

Définition de l'indexation

L'indexation d'un site web correspond à la prise en compte de ses pages et de ses différents contenus par un moteur de recherche. Google ayant une place plus que dominante parmi les moteurs de recherche, on parle généralement de l'indexation Google.

Il s'agit d'un processus en plusieurs étapes, d'importance égale, durant lesquelles les spiders vont découvrir, stocker et classer les pages d'un site internet. Cette méthode permet au moteur de recherche de proposer les contenus les plus pertinents dans les pages de résultats.

L'indexation mobile-first

Avec l'évolution permanente de l'utilisation du mobile pour naviguer sur le web, la modification de la méthode d'indexation des sites web était devenue essentielle. Désormais, la firme de Mountain View utilise l'indexation mobile-first.

Google crawle la version mobile d'un site, à la place de la version desktop, et en évalue la pertinence pour la classer ensuite dans son index. Les créateurs de sites ont donc tout intérêt à penser au mobile en premier (mobile-first), que ce soit durant la phrase de conception, de design ou de développement.

Un index à jour rapidement grâce à Caffeine

Il y a quelques années, la mise à jour Caffeine a été développée pour augmenter la vitesse et le rafraichissement de l'index Google. Avant, Googlebot analysait un groupe de pages en fonction de nombreux critères de pertinence, puis les indexait une fois traitées.

Maintenant, le travail se fait page par page. Avec cette modification du processus, chaque contenu est traité indépendamment des autres. L'avantage de ce fonctionnement est que chaque page est accessible sur les résultats de recherche dès qu'elle a été crawlée et indexée.

N'oubliez pas que la première étape de votre stratégie SEO doit se baser sur un travail d'analyse de votre marché. Il est essentiel de comprendre comment choisir les mots clés pour son référencement naturel pour favoriser les chances de voir son trafic en ligne évoluer.

Les différentes étapes du fonctionnement de l'indexation Google

L'exploration des robots Google : à la découverte du web

La première étape primordiale de l'indexation d'une page web est de la découvrir. L'exploration de l'ensemble des pages présentes sur internet est un processus relativement simple. Les robots de Google, aussi appelés Googlebot ou spiders, naviguent de page en page en suivant les liens hypertextes présents sur celles-ci, qu'il s'agisse de liens internes, grâce auxquels ils découvrent l'ensemble des pages d'un même site, ou de liens externes qui leur permettront de naviguer de site en site.

Une fois ce concept assimilé, il est facile de comprendre l'importance d'avoir des backlinks pour que Google explore l'ensemble des contenus de votre site. Ceux-ci permettront aux spiders de découvrir et surtout de revenir régulièrement analyser votre site. De nombreuses analystes SEO ont montré que Google bot venait explorer plus souvent les pages qu'il considère comme qualitatives.

La découverte des pages web est donc presque entièrement basée sur les liens.

Vous avez des doutes sur la qualité technique de votre site ? Vous avez constaté des erreurs dans sa conception ? Nous proposons de réaliser un audit SEO complet qui permettra de vérifier la présence de facteurs bloquant les robots de Google et l'indexation de votre site.

L'index Google : une immense base de données

À chaque fois que les spiders découvrent une page, ils l'enregistrent en créant une copie de tout le code HTML dans un index. L'index Google peut donc être considéré comme une immense base de données répertoriant l'ensemble des pages web explorées (et jugées assez pertinentes pour être proposées à ses utilisateurs).

Pour présenter le plus rapidement possible les informations, ces multiples bases de données sont stockées dans d'énormes datacenters constitués de milliers de serveurs tout autour du globe. Le moteur de recherche américain a d'ailleurs produit des vidéos de présentation de ses infrastructures :

Le ranking : comment Google classe et présente les résultats ?

Pour comprendre la manière dont Google présente les résultats, il est important de rappeler l'objectif principal du moteur de recherche. Le but de cet outil est de proposer aux internautes recherchant un mot clé précis les résultats les plus pertinents en un minimum de temps.

Pour réussir à proposer de telles pages de résultats se voulant hyper qualitatives, le processus est le suivant :

1. Toutes les pages pertinentes sont identifiées sur l'index.
2. Les algorithmes de Google viennent classer ces pages suivant des centaines de critères.
3. Les SERPs, search engine results pages, sont affichées sur l'écran de l'utilisateur en respectant ce classement.

La domination du moteur de recherche californien dans le monde est le résultat direct de l'excellence de ses algorithmes. Les ingénieurs de Google ont mieux réussi que tous les autres (ou en tout cas avant) à proposer des pages de résultats de très grande qualité. Pour rappel, avant l'apparition des moteurs de recherche, la navigation sur internet passait par d'énormes annuaires dans lesquels les sites étaient classés par thème et sous-thème. Imaginez le nombre de pages à visiter pour trouver une information pertinente.

Google classe les pages en suivant deux grands axes d'analyse : la pertinence du contenu (ce site répond-il à l'intention de recherche de l'internaute ?) et la popularité du site (les fameux backlinks). De nombreuses évolutions ont amené de nouveaux critères comme le lieu, la langue, les habitudes de l'utilisateur ainsi que le matériel utilisé. Nous aurons l'occasion de parler plus en détail de toute la complexité de l'algorithme, avec un grand A, de Google dans un autre article de blog.

L'indexation appliquée à votre site

Comment faire pour que mon site soit indexé par Google ?

Lorsque vous mettez en ligne un nouveau site ou un nouveau contenu sur un site existant, il est important que celui-ci soit indexé sur Google, si possible rapidement. Rien n'est plus frustrant que d'avoir travaillé un contenu optimisé et ne pas le voir dans l'index Google quelques heures, voire quelques jours, après.

Pour favoriser une prise en compte rapide de vos pages par Google, plusieurs approches sont possibles :

• Soumettre vos sitemaps XML sur la Google Search Console : les sitemaps sont des plans du site mis à jour régulièrement et proposant l'ensemble des pages que vous souhaitez indexer sur les moteurs de recherche. Cette étape est quasi-obligatoire pour tout site internet !
• Demander l'indexation sur la Search Console : sur l'accès propriétaire, il suffit de renseigner l'URL souhaitée dans la barre de recherche située en haut et de valider avec la touche Entrée. Une fois sur la page d'analyse de l'URL, il suffit de cliquer sur "demander l'indexation". Cette pratique sera à favoriser pour la publication de contenus très actuels ou la mise à jour d'anciens contenus.
• Laisser Google bot trouver votre site en autonomie grâce à des liens : cette pratique totalement passive n'est évidemment pas la plus rapide ni la plus sûre. Toutefois dans certain cas très précis, une passivité totale et volontaire peut suffire.

Combien de temps faut-il pour que mon site soit indexé ?

Le temps d'indexation d'une page web dépend d'un certain nombre de critères. Généralement une page peut apparaitre dans l'index Google entre quelques minutes et quelques jours après sa mise en ligne.

Ce délai dépendra de l'autorité de votre site, de la fréquence de crawl, de la procédure de soumission, etc. Attention, une page indexée n'est pas forcément une page bien positionnée. Google met plus de temps à assimiler la qualité d'une page et à la classer correctement (si elle le mérite bien sûr).

Comment vérifier l'indexation de mon site ?

Plusieurs méthodes de vérification de l'indexation sont possibles :

• la vérification directement dans la barre de recherche de la Search Console ;
• la vérification dans la barre de recherche Google avec l'outil "site :votresite.fr" ;
• l'analyse de la couverture dans votre Search Console.

Si vous constatez que votre page n'est pas encore indexée, les conseils sont généralement de solliciter directement Google via la demande d'indexation de la Search Console. Vous pouvez aussi vérifier les pages en erreur dans la Search Console et suivre les instructions pour corriger le problème concerné.

Comment bloquer l'indexation d'une page sur Google ?

Certaines pages ne sont pas intéressantes pour les internautes et encore moins dans les résultats de recherche. On pense ici aux pages "mentions légales", "conditions générales de ventes" ou autres. Votre consultant SEO saura apporter les conseils nécessaires dans le domaine.

Il est tout à fait possible d'indiquer à Google que nous ne souhaitons pas que ces pages apparaissent dans les SERPs. Pour ce faire, deux solutions sont possibles (et cumulables) :

• Placer des balises noindex sur les pages. Cette action bloquera l'indexation.
• Bloquer le crawl dans le robots.txt avec un "disallow".

Attention, dans certains cas, si votre page est déjà indexée, il faudra d'abord débloquer le crawl en enlevant le "disallow" dans le robots.txt puis placer une balise noindex. Une fois votre page crawlée et desindexée, vous pouvez remettre le "disallow" en place.

Et après ?

Comme nous vous l'avons expliqué tout au long de cet article, l'indexation est essentielle pour que votre site soit présent sur les moteurs de recherche mais elle ne suffit pas à remonter dans les premiers résultats. Pour réussir à atteindre vos objectifs de trafic, il est tout de même nécessaire de corriger toutes les erreurs liées à votre indexation.

Il ne faut surtout pas confondre indexation et référencement naturel : Google peut indexer votre site sans pour autant le juger qualitatif et le faire remonter sur un certain nombre de mots clés.

Si votre site est indexé mais qu'il ne remonte pas dans les premières positions, nous vous invitons à regarder de plus près les différentes étapes d'un audit SEO pour mieux comprendre les points à optimiser. Vous vous rendrez peut-être compte que vous devez revoir votre stratégie de content marketing en appliquant des règles de rédaction web SEO friendly ou revoir vos balises SEO. Vous découvrirez potentiellement qu'il est nécessaire de booster l'autorité de votre site avec une stratégie netlinking efficace.

Le référencement naturel est une discipline reposant sur des bases rigoureuses. Soyez au plus proche des recommandations et votre trafic suivra.