robots.txt sous Spip

Accueil / Nouvelles brèves / robots.txt sous Spip

Article publié le 29 novembre 2018  Mot(s) clé :   Référencement  Spip  Enregistrer au format PDF   Version PDF

Constat

Plusieurs de mes sites n’étaient plus Mobile Friendly selon l’outil Google. Je m’en suis rendu compte grâce à l’outil Google Webmaster Tools, et en testant des recherches dans Google pour connaître le positionnement de mes pages.

Mis à part la petite piqûre d’amour propre, parce que je pensais avoir fait le nécessaire pour que mes sites soient responsives, (j’avais de plus testé les pages en son temps) le résultat pouvait avoir des conséquences en terme de référencement, car si Google détecte que votre page n’est pas adaptée aux smartphones, vous ne serez pas bien référencés dans l’index mobile.

En regardant plus loin, j’ai vu que plusieurs sites de mes clients présentaient la même difficulté. Il fallait donc corriger.

En cause, le fichier robots.txt de spip ?

Spip propose un fichier robots.txt, lorsque le .htaccess est mis en place. Ce fichier se trouve dans le dossier /squelettes-dist/ et son contenu est le suivant :

#HTTP_HEADER{Content-Type: text/plain; charset=#CHARSET}

# robots.txt
# @url: #URL_SITE_SPIP
# @generator: SPIP #SPIP_VERSION
# @template: #SQUELETTE

User-agent: *
Allow:    /local/cache-css/
Allow:    /local/cache-js/
Disallow: /local/
Disallow: /ecrire/
Disallow: /plugins-dist/
Disallow: /lib/
Disallow: /plugins/
Disallow: /prive/
Disallow: /squelettes-dist/
Disallow: /squelettes/
Crawl-delay: 1

Sitemap: #URL_SITE_SPIP/sitemap.xml

Ce qui signifie que l’on interdit l’indexation des pages contenues dans le dossier /squelettes/

Effectivement, Googlebot ne peut pas accéder aux feuilles de styles, en particulier aux feuilles de styles pour petits écrans.

Test avec une page

Pour en avoir le cœur net, j’ai fait un test avec une page que Google me disait ne pas être adaptée aux téléphones mobiles :

J’ai modifié ensuite le fichier robots.txt en supprimant la ligne Disallow: /squelettes/

Le résultat du test est intéressant :

Je vais donc attendre quelques semaines pour voir si cette modification est bien prise en compte sur l’ensemble du site, en consultant le Google Webmaster Tools.

Ces articles peuvent vous intéresser