Generatore di Robots.txt
Strumento SEONuovoGenera un file robots.txt per il tuo sito web.
Questo strumento funziona interamente nel tuo browser. I tuoi file non lasciano mai il tuo dispositivo — non viene caricato niente.
Crawler rules
Use * to apply the rules to every crawler.
One path per line. Leave blank if you have nothing to allow.
One path per line. These paths are blocked from crawling.
User-agent: * Disallow: /admin
Domande frequenti
Cosa fa un file robots.txt?
Un file robots.txt indica ai crawler dei motori di ricerca quali parti del tuo sito possono o non possono richiedere. Definisci uno User-agent e poi consenti (Allow) o blocchi (Disallow) percorsi specifici, e puoi segnalare la tua sitemap. Guida i bot che si comportano bene, ma non è un controllo di sicurezza — ciò che devi davvero nascondere va protetto in altro modo.
I miei dati vengono caricati da qualche parte quando uso questo generatore?
No. Tutto il file robots.txt viene costruito direttamente nel tuo browser con JavaScript lato client. I tuoi percorsi, l'URL della sitemap e la configurazione non lasciano mai il tuo dispositivo e non viene inviato nulla a un server, così tutto resta completamente privato.
Cos'è Crawl-delay e dovrei configurarlo?
Crawl-delay chiede ai crawler di attendere quel numero di secondi tra le richieste, il che può alleggerire il carico su server piccoli. È opzionale e non tutti i crawler lo rispettano (Google lo ignora, per esempio). Lascialo vuoto a meno che tu non abbia un motivo specifico per rallentare i bot.