robots.txtジェネレーター
サイトのrobots.txtファイルを作成：検索ロボットやAIロボットの許可・ブロック、非公開フォルダーの指定、サイトマップの案内ができます。
使い方robots.txtジェネレーター
利用できる言語: 
広告
robots.txtジェネレーター: 用途
構文を覚えなくても、サイトのrobots.txtファイルを作成できます。ロボットにサイトのクロールを許可するかを選び、除外するフォルダーとページ、例外、サイトマップのアドレスを入力してください。
GPTBot、ClaudeBot、Google-Extended、CCBot、PerplexityBotなどのAIロボットや、SEOツールのロボットなど、ブロックしたいものにチェックを入れます。できあがったファイルをコピーまたはダウンロードできます。
使い方
- 全体のルールを選び、サイトマップを入力します。
- ブロックするフォルダーを並べ、ロボットにチェックを入れます。
- robots.txtをコピーまたはダウンロードします。
使うタイミング
- 新しいサイトのrobots.txtの作成。
- AIロボットによるサイトコンテンツの利用を防ぐ。
- 管理画面や検索ページのブロック。
よくある質問
robots.txtはどこに置きますか？
ドメインのルートに置き、example.com/robots.txtでアクセスできるようにします。サブドメインごとに専用のファイルが必要です。
robots.txtでブロックすればGoogleから消えますか？
必ずしもそうではありません。robots.txtはクロールを防ぎますが、リンクがあればブロックしたページでも表示されることがあります。インデックスから外すには、noindexメタタグを使い、ページをクロール可能にしておいてください。
AIロボットをブロックするには？
リストでAIロボットにチェックを入れます。GPTBot（OpenAI）、ClaudeBot（Anthropic）、Google-Extended、CCBot（Common Crawl）などです。これらはrobots.txtを尊重するとしています。
本当に無料？
はい、100%無料です。登録不要、サブスクなし、利用制限なし。すべてのツール：Tools123は無料です。