Генератор robots.txt
Создайте файл robots.txt для вашего сайта: разрешите или запретите поисковых и ИИ-роботов, закройте приватные папки и укажите карту сайта.
Как пользоватьсяГенератор robots.txt
Доступно на: 
Генератор robots.txt: для чего нужен
Создайте файл robots.txt для сайта, не запоминая синтаксис. Выберите, могут ли роботы обходить сайт, перечислите папки и страницы, которые нужно закрыть, исключения и адрес карты сайта.
Отметьте роботов, которых хотите заблокировать, например ИИ-роботов (GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot) и роботов SEO-инструментов. Скопируйте или скачайте готовый файл.
Как пользоваться
- Выберите общее правило и укажите карту сайта.
- Перечислите закрытые папки и отметьте роботов.
- Скопируйте или скачайте robots.txt.
Когда использовать
- Создание robots.txt для нового сайта.
- Запрет ИИ-роботам использовать содержимое сайта.
- Закрытие админ-разделов и страниц поиска.
Частые вопросы
Куда положить robots.txt?
В корень домена, чтобы он открывался по адресу vashsayt.ru/robots.txt. У каждого поддомена должен быть свой файл.
Убирает ли блокировка в robots.txt страницу из поиска?
Не обязательно. Robots.txt запрещает обход, но заблокированная страница всё равно может появиться в выдаче, если на неё есть ссылки. Чтобы убрать из индекса, используйте мета-тег noindex и оставьте страницу доступной для обхода.
Как заблокировать ИИ-роботов?
Отметьте ИИ-роботов в списке, например GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended и CCBot (Common Crawl). Они заявляют, что соблюдают robots.txt.
Правда бесплатно?
Да, 100% бесплатно. Без регистрации, без подписки и без ограничений использования. Все инструменты Tools123 бесплатны.