Entra Audit web
Entra Audit web
Generatore

Generatore di robots.txt

Crea una base pulita per il tuo file robots.txt. Definisce quali bot possono scansionare il sito, quali percorsi conviene bloccare e dove si trova la sitemap XML.

Configurazione di Robots.txt
Regole per bot specifici
Google
Google Image
Bing (MSN)
Yahoo
Yandex
Baidu
Ahrefs
SEMrush

Inserisci un percorso per riga (es: /admin/)

Codice Robots.txt generato
Dove salvare questo file?

Devi scaricare questo file e caricarlo nella radice del tuo dominio (es: midominio.com/robots.txt).

INFO

CHE COS'È UN FILE ROBOTS.TXT?

Il file robots.txt indica ai crawler quali aree di un sito possono consultare e quali percorsi non dovrebbero visitare. Non rimuove da solo pagine da Google, ma aiuta a ordinare la scansione.

Una configurazione chiara evita blocchi accidentali di contenuti importanti e permette di dichiarare la sitemap principale per aiutare i motori a trovare meglio la struttura del sito.

  • Controllo del crawling:

    Definisce percorsi consentiti e bloccati per i bot.

  • Sitemap visibile:

    Include la posizione della sitemap XML principale.

  • Prevenzione errori:

    Riduce blocchi accidentali di contenuti importanti.

  • Base AISEO:

    Aiuta a mantenere un segnale tecnico chiaro e verificabile.

Domande su robots.txt

Dubbi frequenti prima di pubblicare un file robots.txt in produzione.

Dove si colloca il file robots.txt?
Deve trovarsi nella root del dominio. Per esempio: https://tuodominio.com/robots.txt.
robots.txt elimina un URL da Google?
No. robots.txt controlla la scansione, ma non garantisce la rimozione dall'indice. Per evitare indicizzazione si usano altri segnali, come noindex quando serve.
Posso bloccare il pannello di amministrazione?
Sì, puoi dichiarare percorsi come /admin/ o /login/. La sicurezza reale deve comunque dipendere dall'autenticazione, non da robots.txt.