Gerador de Robots.txt
Ferramenta SEONovoGere um arquivo robots.txt para o seu site.
Esta ferramenta roda inteiramente no seu navegador. Seus arquivos nunca saem do seu dispositivo — nada é enviado.
Crawler rules
Use * to apply the rules to every crawler.
One path per line. Leave blank if you have nothing to allow.
One path per line. These paths are blocked from crawling.
User-agent: * Disallow: /admin
Perguntas frequentes
O que um arquivo robots.txt faz?
Um arquivo robots.txt indica aos rastreadores dos buscadores quais partes do seu site eles podem ou não solicitar. Você define um User-agent e depois permite (Allow) ou bloqueia (Disallow) caminhos específicos, e pode apontar o seu sitemap. Ele orienta os bots bem-comportados, mas não é um controle de segurança — o que você realmente precisa esconder deve ser protegido de outra forma.
Meus dados são enviados para algum lugar ao usar este gerador?
Não. Todo o arquivo robots.txt é montado diretamente no seu navegador com JavaScript do lado do cliente. Seus caminhos, a URL do sitemap e as configurações nunca saem do seu dispositivo e nada é enviado a um servidor, então tudo permanece completamente privado.
O que é o Crawl-delay e devo configurá-lo?
O Crawl-delay pede aos rastreadores que esperem aquele número de segundos entre requisições, o que pode aliviar a carga em servidores pequenos. É opcional e nem todos os rastreadores o respeitam (o Google o ignora, por exemplo). Deixe-o vazio a menos que você tenha um motivo específico para frear os bots.