Générateur de robots.txt
Outil SEONouveauGénérez un fichier robots.txt pour votre site web.
Cet outil s'exécute entièrement dans votre navigateur. Vos fichiers ne quittent jamais votre appareil — rien n'est envoyé.
Crawler rules
Use * to apply the rules to every crawler.
One path per line. Leave blank if you have nothing to allow.
One path per line. These paths are blocked from crawling.
User-agent: * Disallow: /admin
Questions fréquentes
À quoi sert un fichier robots.txt ?
Un fichier robots.txt indique aux robots des moteurs de recherche quelles parties de votre site ils peuvent ou non demander. Vous définissez un User-agent puis autorisez (Allow) ou bloquez (Disallow) des chemins précis, et vous pouvez indiquer votre sitemap. Il guide les robots bien élevés, mais ce n'est pas un contrôle de sécurité — ce que vous devez vraiment cacher doit être protégé autrement.
Mes données sont-elles envoyées quelque part lors de l'utilisation de ce générateur ?
Non. Tout le fichier robots.txt est construit directement dans votre navigateur en JavaScript côté client. Vos chemins, l'URL du sitemap et la configuration ne quittent jamais votre appareil et rien n'est transmis à un serveur, tout reste donc totalement privé.
Qu'est-ce que Crawl-delay et dois-je le configurer ?
Crawl-delay demande aux robots d'attendre ce nombre de secondes entre les requêtes, ce qui peut soulager la charge sur les petits serveurs. C'est facultatif et tous les robots ne le respectent pas (Google l'ignore, par exemple). Laissez-le vide sauf si vous avez une raison précise de ralentir les robots.