Robots.txt-Generator
SEO-ToolNeuErzeuge eine robots.txt-Datei für deine Website.
Dieses Tool läuft vollständig in deinem Browser. Deine Dateien verlassen dein Gerät nie — nichts wird hochgeladen.
Crawler rules
Use * to apply the rules to every crawler.
One path per line. Leave blank if you have nothing to allow.
One path per line. These paths are blocked from crawling.
User-agent: * Disallow: /admin
Häufig gestellte Fragen
Was macht eine robots.txt-Datei?
Eine robots.txt-Datei teilt den Crawlern der Suchmaschinen mit, welche Teile deiner Website sie anfragen dürfen und welche nicht. Du definierst einen User-Agent und erlaubst (Allow) oder blockierst (Disallow) dann bestimmte Pfade, und du kannst auf deine Sitemap hinweisen. Sie leitet gutartige Bots, ist aber keine Sicherheitskontrolle — was du wirklich verbergen musst, sollte anders geschützt werden.
Werden meine Daten bei der Nutzung dieses Generators irgendwohin hochgeladen?
Nein. Die gesamte robots.txt-Datei wird direkt in deinem Browser mit clientseitigem JavaScript erstellt. Deine Pfade, die Sitemap-URL und die Konfiguration verlassen nie dein Gerät und nichts wird an einen Server gesendet, es bleibt also alles komplett privat.
Was ist Crawl-delay und sollte ich es einstellen?
Crawl-delay bittet die Crawler, diese Anzahl von Sekunden zwischen Anfragen zu warten, was kleine Server entlasten kann. Es ist optional und nicht alle Crawler beachten es (Google ignoriert es zum Beispiel). Lass es leer, außer du hast einen konkreten Grund, die Bots zu bremsen.