Terme technique
Retour
Robots.txt
CrawlFichier à la racine du site qui donne des consignes d’exploration aux robots.
Que signifie Robots.txt
Robots.txt: Fichier à la racine du site qui donne des consignes d’exploration aux robots. Dans AISEO, ce concept sert à vérifier que la page reste lisible, fiable et exploitable par les utilisateurs, les moteurs de recherche et les systèmes IA.
Zone AISEO: Crawl. Cette étiquette aide à situer le terme dans le glossaire et à comprendre s'il relève de l'exploration, de la sémantique, de la performance, de la sécurité, de l'IA, de l'accessibilité ou de la certification.
Bien gérer Robots.txt évite les signaux contradictoires, améliore la compréhension du contenu et réduit le risque de perdre du crawl, de la visibilité ou de la confiance.
- Testez Robots.txt avec un crawler ou une requête HTTP directe.
- Comparez le résultat avec les URLs canoniques et le sitemap.
- Corrigez les blocages, erreurs ou signaux contradictoires avant de relancer l’audit.
Erreurs courantes
Bloquer Robots.txt par erreur avec robots.txt, meta robots ou une redirection.
Laisser des URLs importantes hors du maillage interne.
Tester uniquement le navigateur sans vérifier le code HTTP réel.
Questions fréquentes sur Robots.txt
Que signifie Robots.txt ?
Fichier à la racine du site qui donne des consignes d’exploration aux robots.
Comment vérifier Robots.txt ?
Contrôlez le signal dans le HTML rendu, les en-têtes ou le crawl selon le cas, puis relancez l’audit AISEO pour confirmer la correction.