Générateur de robots.txt
Créez le fichier robots.txt de votre site : autorisez ou bloquez les robots de recherche et d’IA, les dossiers privés et indiquez le sitemap.
Mode d’emploiGénérateur de robots.txt
Disponible en: 
Générateur de robots.txt: à quoi ça sert
Composez le fichier robots.txt de votre site sans apprendre la syntaxe par cœur. Choisissez si les robots peuvent explorer le site, listez les dossiers et pages à exclure, les exceptions et l’adresse du sitemap.
Cochez les robots que vous voulez bloquer, comme ceux d’IA (GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot) et ceux des outils de SEO. Copiez ou téléchargez le fichier prêt.
Mode d’emploi
- Choisissez la règle générale et indiquez le sitemap.
- Listez les dossiers bloqués et cochez les robots.
- Copiez ou téléchargez le robots.txt.
Quand l’utiliser
- Créer le robots.txt d’un nouveau site.
- Empêcher les robots d’IA d’utiliser le contenu du site.
- Bloquer les zones d’administration et les pages de recherche.
Questions fréquentes
Où placer le robots.txt ?
À la racine du domaine, accessible à monsite.fr/robots.txt. Chaque sous-domaine a besoin de son propre fichier.
Bloquer dans le robots.txt retire-t-il la page de Google ?
Pas nécessairement. Le robots.txt empêche l’exploration, mais une page bloquée peut quand même apparaître si elle reçoit des liens. Pour la retirer de l’index, utilisez la balise meta noindex et laissez la page explorable.
Comment bloquer les robots d’IA ?
Cochez les robots d’IA dans la liste, comme GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended et CCBot (Common Crawl). Ils déclarent respecter le robots.txt.