Was macht Disallow: /?

Disallow: / weist einen Crawler an, für diesen User-agent keine URL der Website abzurufen. Es ist die Grundlage des Presets Alles blockieren, also nutze es auf einer Live-Website mit Bedacht.

Wohin lege ich die robots.txt-Datei?

Sie muss im Stammverzeichnis deiner Domain liegen und unter https://example.com/robots.txt ausgeliefert werden. Crawler schauen nur dort, sodass eine robots.txt in einem Unterordner ignoriert wird.

Entfernt Disallow eine Seite aus Google?

Nein. Disallow bittet konforme Crawler, die URL nicht abzurufen, aber eine gesperrte Seite kann durch andere Links weiterhin in Ergebnissen erscheinen. Nutze ein noindex-Meta-Tag oder einen noindex-Header, um eine Seite aus dem Index zu halten.

Kann ich für verschiedene Bots unterschiedliche Regeln festlegen?

Ja. Füge für jeden Bot eine separate User-agent-Gruppe hinzu, zum Beispiel eine für Googlebot und eine für *. Jede Gruppe erhält in der Ausgabe ihre eigenen Allow- und Disallow-Zeilen.

Was ist Crawl-delay und sollte ich es nutzen?

Crawl-delay bittet einen Crawler, so viele Sekunden zwischen Anfragen zu warten. Es wird von einigen Engines wie Bing beachtet, aber von Googlebot ignoriert, daher ist es optional und standardmäßig leer.

Wird meine robots.txt an einen Server gesendet?

Nein. Der robots.txt-Generator baut die Datei in deinem Browser, während du tippst, sodass die eingegebenen Regeln und Sitemap-URLs auf deinem Gerät bleiben.

robots.txt-Generator

Baue visuell eine robots.txt-Datei mit User-agent-Regeln, Allow- und Disallow-Pfaden, crawl-delay und Sitemaps. Alles läuft in deinem Browser.

Deine robots.txt-Regeln und Sitemap-URLs werden lokal in deinem Browser zusammengestellt und nie hochgeladen.

Brauchst du auch eine Sitemap? Probiere den Sitemap-Generator.

Über robots.txt-Generator

Dieser robots.txt-Generator lässt dich eine robots.txt-Datei visuell bauen, statt die genaue Syntax auswendig zu lernen. Füge eine oder mehrere Regelgruppen hinzu, jede mit einem User-agent (Standard *) plus Allow- und Disallow-Pfadzeilen, und lege dann einen optionalen Crawl-delay und deine Sitemap-URLs fest. Preset-Schaltflächen füllen gängige Setups: Alles erlauben, Alles blockieren, Gängige Admin-Pfade wie /admin und /cgi-bin blockieren und eine WordPress-Konfiguration. Das Ausgabefeld aktualisiert sich live, während du tippst, und formatiert jede Gruppe korrekt mit einer Leerzeile zwischen den Gruppen und Sitemap-Zeilen am Ende. Wenn eine Pfadregel nicht mit einem Schrägstrich beginnt, erhältst du eine sanfte Warnung statt einer Blockade. Kopiere das Ergebnis oder lade es als robots.txt herunter, um es in das Stammverzeichnis deiner Website zu legen. Alles wird in deinem Browser generiert, sodass nichts von dem, was du tippst, hochgeladen wird.

Funktionen

Baue mehrere User-agent-Gruppen, jede mit eigenen Allow- und Disallow-Pfaden
Füge einzelne Pfadzeilen hinzu oder entferne sie, um fein abzustimmen, was Crawler besuchen dürfen
Presets per Klick: Alles erlauben, Alles blockieren, Gängige Admin-Pfade blockieren und WordPress
Optionaler Crawl-delay und eine oder mehrere absolute Sitemap-URLs
Die Live-Ausgabe formatiert Gruppen mit einer Leerzeile dazwischen und Sitemaps am Ende
Warnt, wenn eine Pfadregel nicht mit einem Schrägstrich beginnt, statt dich zu blockieren
Kopiere die generierte robots.txt oder lade sie als robots.txt-Datei herunter
Läuft vollständig in deinem Browser, ohne dass deine Regeln hochgeladen werden

So verwendest du robots.txt-Generator

Wähle ein Preset wie Alles erlauben oder Alles blockieren, oder beginne eine frische User-agent-Gruppe.
Lege den User-agent fest und füge Allow- oder Disallow-Pfadzeilen für diese Gruppe hinzu.
Füge optional einen Crawl-delay und deine Sitemap-URLs hinzu.
Prüfe die Live-robots.txt im Ausgabefeld auf der rechten Seite.
Klicke auf Kopieren oder Herunterladen, um robots.txt zu speichern und in dein Website-Stammverzeichnis hochzuladen.

Beispiel

Eingabe

User-agent: *  →  Disallow: /admin, /cgi-bin/
Sitemap: https://example.com/sitemap.xml

Ausgabe

User-agent: *
Disallow: /admin
Disallow: /cgi-bin/

Sitemap: https://example.com/sitemap.xml

Eine einzelne Gruppe, die Admin-Pfade blockiert, mit einer am Ende angehängten Sitemap.

Häufige Fehler & Fehlerbehebung

Eine Pfadregel hat keine Wirkung, weil sie nicht mit einem Schrägstrich beginnt. — Beginne jeden Allow- und Disallow-Wert mit /, zum Beispiel /admin oder /private/. Der Generator markiert Regeln, die das nicht tun.
Disallow: / blockiert versehentlich die ganze Website vor Suchmaschinen. — Disallow: / weist Crawler an, jede URL zu überspringen. Nutze das Preset Alles erlauben oder einen leeren Disallow-Wert, um das Crawlen wieder zu erlauben.
Die Sitemap-Zeile wird von Crawlern ignoriert. — Sitemap-Werte müssen absolute URLs wie https://example.com/sitemap.xml sein, keine relativen Pfade wie /sitemap.xml.
Crawler indexieren weiterhin eine Seite, die du per Disallow gesperrt hast. — robots.txt bittet nur darum, dass konforme Crawler eine URL nicht abrufen; es entfernt keine Seiten aus einem Index. Nutze dafür ein noindex-Meta-Tag oder einen noindex-Header.

Häufig gestellte Fragen

Was macht Disallow: /?: Disallow: / weist einen Crawler an, für diesen User-agent keine URL der Website abzurufen. Es ist die Grundlage des Presets Alles blockieren, also nutze es auf einer Live-Website mit Bedacht.
Wohin lege ich die robots.txt-Datei?: Sie muss im Stammverzeichnis deiner Domain liegen und unter https://example.com/robots.txt ausgeliefert werden. Crawler schauen nur dort, sodass eine robots.txt in einem Unterordner ignoriert wird.
Entfernt Disallow eine Seite aus Google?: Nein. Disallow bittet konforme Crawler, die URL nicht abzurufen, aber eine gesperrte Seite kann durch andere Links weiterhin in Ergebnissen erscheinen. Nutze ein noindex-Meta-Tag oder einen noindex-Header, um eine Seite aus dem Index zu halten.
Kann ich für verschiedene Bots unterschiedliche Regeln festlegen?: Ja. Füge für jeden Bot eine separate User-agent-Gruppe hinzu, zum Beispiel eine für Googlebot und eine für *. Jede Gruppe erhält in der Ausgabe ihre eigenen Allow- und Disallow-Zeilen.
Was ist Crawl-delay und sollte ich es nutzen?: Crawl-delay bittet einen Crawler, so viele Sekunden zwischen Anfragen zu warten. Es wird von einigen Engines wie Bing beachtet, aber von Googlebot ignoriert, daher ist es optional und standardmäßig leer.
Wird meine robots.txt an einen Server gesendet?: Nein. Der robots.txt-Generator baut die Datei in deinem Browser, während du tippst, sodass die eingegebenen Regeln und Sitemap-URLs auf deinem Gerät bleiben.