Generador de robots.txt
Crea el archivo robots.txt de tu sitio: permite o bloquea robots de búsqueda y de IA, carpetas privadas e indica el sitemap.
Generador de robots.txt
Todo se hace en tu dispositivo: nada se envía a internet.
Generador de robots.txt: para qué sirve
Arma el archivo robots.txt de tu sitio sin memorizar la sintaxis. Elige si los robots pueden rastrear el sitio, enumera las carpetas y páginas que deben quedar fuera, las excepciones y la dirección del sitemap.
Marca los robots que quieres bloquear, como los de IA (GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot) y los de herramientas de SEO. Copia o descarga el archivo listo.
Cómo usar
- Elige la regla general e indica el sitemap.
- Enumera las carpetas bloqueadas y marca los robots.
- Copia o descarga el robots.txt.
Cuándo usar
- Crear el robots.txt de un sitio nuevo.
- Evitar que robots de IA usen el contenido del sitio.
- Bloquear áreas de administración y páginas de búsqueda.
Preguntas frecuentes
¿Dónde coloco el robots.txt?
En la raíz del dominio, accesible en tusitio.com/robots.txt. Cada subdominio necesita su propio archivo.
¿Bloquear en el robots.txt quita la página de Google?
No necesariamente. El robots.txt impide el rastreo, pero una página bloqueada todavía puede aparecer si tiene enlaces. Para sacarla del índice, usa la metaetiqueta noindex y deja la página rastreable.
¿Cómo bloquear robots de IA?
Marca los robots de IA en la lista, como GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended y CCBot (Common Crawl). Ellos declaran respetar el robots.txt.
¿Es gratis de verdad?
Sí, 100% gratis. Sin registro, sin suscripción y sin límite de uso. Todas las herramientas de Tools123 son gratuitas y funcionan directo en tu navegador.