Cosa misura questo check
Verifica che robots.txt sia accessibile, leggibile e non blocchi globalmente il sito.
La verifica non guarda solo la presenza formale del segnale: controlla anche coerenza, comportamento reale della pagina e impatto sul sistema AISEO.
Perché importa in AISEO
robots.txt orienta i crawler: una regola sbagliata può rendere invisibili pagine importanti.
Quando questo segnale è debole, la pagina può essere meno chiara per utenti, crawler, motori di ricerca e sistemi di IA.
Come correggere il problema
- Apri /robots.txt nel browser.
- Rimuovi eventuali Disallow: / non voluti.
- Aggiungi la sitemap XML.
- Verifica che il formato non contenga caratteri strani.
Come validare la correzione
Dopo la modifica, svuota eventuali cache, controlla la pagina pubblica e rilancia l’audit AISEO. Il check dovrebbe passare a PASS o almeno non mostrare più errori critici.