WordPress

Configurer le fichier robots.txt de votre site WordPress

WordPress est le système de gestion de contenu le plus utilisé dans le monde pour créer un site web. Et ce n’est pas pour rien car le logiciel WordPress est l’un des systèmes de gestion de contenu,  le plus puissant et flexible (facile à utiliser) pour la conception d’un site web. Au départ, WordPress n’est pas optimisé pour le SEO (!), notamment en ce qui concerne l’optimisation du crawl de Googlebot car WordPress ne propose pas nativement un fichier robots.txt.

Comment créer un fichier robots.txt pour WordPress ?

Il existe plusieurs solutions :

  • Vous pouvez créer  un fichier que vous appellerez robots et que vous sauvegarderez avec l’extension .txt, il ne vous restera plus qu’à copie le fichier à la racine de votre serveur avec un client FTP par exemple FileZilla.
  • Vous pouvez utiliser une extension dédié de WordPress comme WP Robots Txt ou tout autre extension  plus complet comme notamment WordPress SEO By Yoast qui, en plus de vous permettre une optimisation fine de votre robots.txt, vous offrira tout un paramétrage possible pour votre SEO.

Comment paramétrer un fichier robots.txt pour WordPress ?

Voici le fichier robots.txt un exemple de fichier robots.txt

Votre fichier robots.txt  pourrait comporter les lignes suivantes :

User-agent: * 
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /cgi-bin
Allow: /wp-content/uploads/
Disallow: */trackback
Disallow: /*/feed
Disallow: /*/comments
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz
Disallow: /*.cgi
Disallow: /*?


User-agent: Googlebot-Image 

Disallow:

-Disallow: wp-* et /cgi-bin, vous permettent d’interdire le crawl par le Googlebot et les autres robots crawlers des fichiers d’administration et du logiciel WordPress.

_Allow: /wp-content/uploads/ autorise le crawl spécifique d’un répertoire

-Disallow: */trackback ,  /*/feed et  /*/comments , interdit à  Google bot d’ accéder à des pages de trackbacks, feed et commentaires dont le contenu est déjà accessible via les pages articles. On évite ainsi un crawl inutile et un duplicate content aux yeux de Google.

-Disallow: /*.php$, /*.inc$,  /*.gz, /*.cgi préviennent le crawl de certains types de fichiers (ou d’URLs).

-Disallow: /*? est utile si, par exemple, vous traquez des urls. En revanche il va bloquer toutes les URLs contenant des « ? ». Alors assurez vous bien que vous n’avez pas d’URLs à indexer avec des « ? » avant d’utiliser cette ligne dans votre robots.txt

-Le Googlebot image peut accéder librement  au site.

Categories: WordPress

1 reply »

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *