Generatore di robots.txt
Crea il file robots.txt del tuo sito: consenti o blocca i robot dei motori di ricerca e delle IA, le cartelle private e indica la sitemap.
Come si usaGeneratore di robots.txt
Disponibile in: 
Generatore di robots.txt: a cosa serve
Crea il file robots.txt del tuo sito senza imparare la sintassi a memoria. Scegli se i robot possono scansionare il sito, elenca le cartelle e le pagine da escludere, le eccezioni e l’indirizzo della sitemap.
Seleziona i robot che vuoi bloccare, come quelli di IA (GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot) e quelli degli strumenti SEO. Copia o scarica il file pronto.
Come si usa
- Scegli la regola generale e indica la sitemap.
- Elenca le cartelle bloccate e seleziona i robot.
- Copia o scarica il robots.txt.
Quando usarlo
- Creare il robots.txt di un nuovo sito.
- Impedire ai robot di IA di usare i contenuti del sito.
- Bloccare aree admin e pagine di ricerca.
Domande frequenti
Dove metto il robots.txt?
Nella radice del dominio, raggiungibile su iltuosito.it/robots.txt. Ogni sottodominio ha bisogno del proprio file.
Bloccare nel robots.txt toglie la pagina da Google?
Non necessariamente. Il robots.txt impedisce la scansione, ma una pagina bloccata può comparire comunque se ha dei link. Per toglierla dall’indice, usa il meta tag noindex e lascia la pagina scansionabile.
Come blocco i robot di IA?
Seleziona i robot di IA nell’elenco, come GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended e CCBot (Common Crawl). Dichiarano di rispettare il robots.txt.