Générateur de robots.txt

Créez un fichier robots.txt : définissez l'agent utilisateur, interdisez les chemins et pointez les robots d'exploration vers votre plan de site.

Créez un fichier robots.txtqui indique aux robots des moteurs de recherche quelles parties de votre site ils peuvent ou non visiter. Choisissez à quel robot d'exploration les règles s'appliquent, répertoriez les chemins que vous souhaitez exclure et ajoutez un lien vers votre plan de site, puis copiez le fichier pour la racine de votre site. Il s'agit d'un petit fichier jouant un rôle considérable dans la manière dont votre site est exploré. Tout fonctionne dans votre navigateur.

Comment fonctionne le fichier robots.txt

Le fichier se trouve à la racine de votre domaine (example.com/robots.txt) et est la première chose que les robots d'exploration bien élevés vérifient. Chaque bloc nomme un agent utilisateur(un robot d'exploration spécifique, ou*pour tous) et répertorie les règlesInterdire- les préfixes de chemin que le robot d'exploration doit ignorer. Vous pouvez également pointer vers votre plan de siteafin que les robots trouvent votre liste complète d'URL. Cet outil assemble ces éléments dans une syntaxe correcte afin qu'une faute de frappe ne bloque pas accidentellement l'ensemble de votre site.

Ce qu'il peut et ne peut pas faire

Une distinction importante :Interdiredemande aux robots d'exploration de ne pasexplorerun chemin -et nongarantissent qu'une page reste en dehors des résultats de recherche et ne protège pas le contenu privé. Les robots d'exploration réputés y obéissent ; les robots malveillants l’ignorent complètement. Pour garder une page en dehors de l'index, utilisez plutôt une balise métanoindexet pour protéger le contenu sensible, utilisez de véritables contrôles d'accès comme des mots de passe. Considérez robots.txt comme un guide de gestion de l'exploration pour les robots coopératifs, et non comme un outil de sécurité ou de confidentialité.

Foire Aux Questions

Où va le fichier robots.txt ?

À la racine de votre domaine, accessible sur example.com/robots.txt. Cela ne fonctionnera pas dans un sous-dossier : les robots le recherchent uniquement à la racine.

Le fait de refuser une page la supprime-t-il de Google ?

Non. Disallow demande aux robots d'exploration de ne pas explorer la page, mais une URL non autorisée peut toujours apparaître dans les résultats si elle est liée ailleurs. Pour garder une page en dehors de l'index, utilisez plutôt une balise méta noindex.

Le fichier robots.txt peut-il protéger les pages privées ou sensibles ?

Non, c'est seulement une demande que les robots coopératifs respectent ; les robots malveillants l'ignorent et le fichier lui-même est lisible publiquement. Protégez le contenu sensible avec de véritables contrôles d'accès comme l'authentification.

Dois-je ajouter mon plan de site au robots.txt ?

Oui, c'est une bonne pratique. Une ligne Sitemap pointant vers votre sitemap.xml aide les robots d'exploration à découvrir toutes vos URL et est indépendante des règles d'autorisation/interdiction.