robots.txt-Generator

robots.txt-Generator: wofür es gut ist

Baue die robots.txt deiner Website, ohne die Syntax auswendig zu lernen. Wähle, ob Roboter die Website crawlen dürfen, liste die Ordner und Seiten auf, die draußen bleiben sollen, die Ausnahmen und die Adresse der Sitemap.

Markiere die Roboter, die du sperren willst, wie die der KI (GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot) und die von SEO-Tools. Kopiere oder lade die fertige Datei herunter.

So geht’s

1. Wähle die allgemeine Regel und gib die Sitemap an.
2. Liste gesperrte Ordner auf und markiere die Roboter.
3. Kopiere oder lade die robots.txt herunter.

Wann nutzen

• Die robots.txt einer neuen Website erstellen.
• Verhindern, dass KI-Roboter den Inhalt der Website nutzen.
• Admin-Bereiche und Suchseiten sperren.

Häufige Fragen

Wohin lege ich die robots.txt?

In das Stammverzeichnis der Domain, erreichbar unter deineseite.de/robots.txt. Jede Subdomain braucht ihre eigene Datei.

Nimmt das Sperren in der robots.txt die Seite aus Google?

Nicht unbedingt. Die robots.txt verhindert das Crawlen, aber eine gesperrte Seite kann trotzdem erscheinen, wenn sie Links hat. Um sie aus dem Index zu nehmen, nutze das Meta-Tag noindex und lass die Seite crawlbar.

Wie sperre ich KI-Roboter?

Markiere die KI-Roboter in der Liste, wie GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended und CCBot (Common Crawl). Sie erklären, die robots.txt zu beachten.

Ist das wirklich kostenlos?

Ja, 100% kostenlos. Ohne Anmeldung, ohne Abo und ohne Nutzungslimit. Alle Tools von Tools123 sind kostenlos.

Ähnliche Tools