robots.txt 生成器
创建网站的 robots.txt 文件：允许或屏蔽搜索和 AI 机器人、私有文件夹，并提供站点地图。
使用方法robots.txt 生成器
可用语言: 
广告
robots.txt 生成器: 用途
无需记住语法，就能创建网站的 robots.txt 文件。选择机器人是否可以抓取网站，列出需要排除的文件夹和页面、例外情况以及站点地图地址。
勾选想屏蔽的机器人，例如 AI 机器人（GPTBot、ClaudeBot、Google-Extended、CCBot、PerplexityBot）和 SEO 工具的机器人。复制或下载生成好的文件。
使用方法
- 选择通用规则并填写站点地图。
- 列出要屏蔽的文件夹并勾选机器人。
- 复制或下载 robots.txt。
使用场景
- 为新网站创建 robots.txt。
- 阻止 AI 机器人使用网站内容。
- 屏蔽后台区域和搜索页面。
常见问题
robots.txt 放在哪里？
放在域名根目录，可通过 yoursite.com/robots.txt 访问。每个子域名都需要自己的文件。
在 robots.txt 中屏蔽会让页面从谷歌消失吗？
不一定。robots.txt 阻止抓取，但被屏蔽的页面如果有链接指向它，仍可能出现。要从索引中移除，请使用 noindex 元标签，并保持页面可被抓取。
如何屏蔽 AI 机器人？
在列表中勾选 AI 机器人，例如 GPTBot (OpenAI)、ClaudeBot (Anthropic)、Google-Extended 和 CCBot (Common Crawl)。它们声明会遵守 robots.txt。
真的免费吗？
是的，100%免费。无需注册，无需订阅，不限使用次数。所有工具：Tools123是免费的。