Problème d’indexation de pages web. Les droits d’auteur ont-ils été violés ?
La semaine dernière je vous avais parlé d’un gérant d’établissement touristique qui se demandait pourquoi son site Internet n’avait toujours pas retrouvé son classement Google. Aujourd’hui je vous propose une nouvelle étude de cas: il s’agit d’un blogueur anglophone qui se demande pourquoi son blog n’est pas indexé dans Google.
Dans un groupe de Google spécialisé en référencement naturel le blogueur annonce que son blog n’est pas indexé dans le moteur de recherche de Google. Son problème se précise un peu plus dans son explication, il indique en effet que 18 URLs ont été bloquées. Autrement dit le blogueur se demande pourquoi certaines pages de son blog ne sont pas – ou plus (?) – indexées dans le moteur de recherche de Google.
Voici sa demande:
J’ai lu les FAQ et j’ai cherché de l’aide dans le centre d’aide Google, mon URL est http:// …… blogspot.com. J’ai créé ce blog il y a quelque temps. J’ai aussi ajouté un sitemap. Je vois 18 URLs bloquées dans Google Webmaster Tools. Pourquoi ont-ils bloqué 18 URLs ? J’ai aussi ajouté le fichier robots.txt.
Les causes probables du problème d’indexation
Quelques membres du groupe ont proposé des solutions qui pourraient répondre au problème évoqué par le blogueur:
Le domaine blogspot.com fait une redirection 302 vers blogspot.it, pense un membre du groupe qui se trouve en Italie. La redirection vers le domaine italien de Blogger est tout à fait normale. Blogspot.com est toujours redirigé vers le domaine du pays où se trouve le visiteur. Vous remarquerez que le blog officiel de Google redirige également vers le domaine français Blogspot.fr : googleblog.blogspot.com -> googleblog.blogspot.fr. Selon Google la raison de cette redirection d’URL est juridique. Si le contenu web du blog n’est pas conforme à la législation du pays, ses pages web peuvent rencontrer des problèmes d’indexation.
Le membre du groupe est surtout étonné par le nombre de redirections d’URLs qui pointent vers le fichier robots.txt. Il propose au blogueur d’utiliser le service Explorer comme Google dans Google Webmaster Tools pour voir si aucune anomalie n’est détectée. C’est une des solutions si le blogueur veut faire indexer certaines pages de son blog. En l’occurrence celui-ci veut faire indexer 18 URLs. L’autre manière de faciliter l’indexation des pages serait d’acquérir des liens externes pour les pointer vers les pages web non indexées.
Le même membre indique encore que les pages du blog possèdent énormément de balises META robots – voir la capture d’écran ci-dessous. En effet une seule balise META robots suffit, mais le choix de supprimer cette balise META est encore mieux s’il veut de la visibilité. Je ne pense pas que ça puisse résoudre le problème d’indexation des pages web.
Le membre conseille aussi de déplacer les tonnes de CSS et de fichier JS (Javascript) dans un fichier séparé. Ce conseil est utile pour augmenter la vitesse de chargement des pages web, il peut résoudre le problème d’indexation des pages du blog si et seulement si le chargement était vraiment trop lent au point d’empêcher les robots explorateurs d’accomplir leur tâche.
Un autre membre du forum signale que les pages du blog sont bien indexées. Mais dans le fichier robots.txt la ligne Disallow: /search pourrait bloquer l’indexation de quelques pages du blog. Une fois de plus, je dirais que le problème d’indexation des pages n’est pas là. Bloquer l’exploration des pages de résultats de recherche internes au blog est plutôt une bonne idée si les résultats de recherche manquent de pertinence. Dans les consignes aux webmasters Google l’indique clairement.
Mon avis sur le problème d’indexation des pages web
Notez que le blogueur publie un message dans le groupe après avoir consulté les FAQ et le centre d’aide de Google. Malgré tous les conseils que les membres du groupe lui donneront, je crois que Google aura tous les droits de désindexer les pages web du blog, voire de les blacklister. Vous vous demandez peut-être pourquoi. La raison est simple, le contenu du blog viole des droits d’auteur en proposant des logiciels piratés.
Peu importe les techniques de référencement naturel proposées par les membres du groupe, le blog aura été dénoncé via ce lien. Si le nombre de dénonciations est élevé Google peut décider de réduire la visibilité des pages web, voire de les blacklister. Les données que reçoit Google sont en effet comptées dans l’algorithme de classement des pages. [à lire: An update to our search algorithms]
Google reçoit tous les jours des demandes de la part de titulaires de droits d’auteur pour désindexer les pages web contenant des contenus qui violent les droits d’auteur (DMCA). En 2012 Google aurait désindexé 51 millions de pages web de son index.
Google tient compte du contenu web dans ses algorithmes de classement de site, il ne faut jamais l’ignorer, c’est la conclusion que je donne à cet article.
