Entrar Auditar web
Entrar Auditar web
Término técnico Volver

Robots.txt

Rastreo

Robots.txt es el archivo que orienta a los bots sobre qué zonas pueden rastrear y cuáles conviene evitar. Es útil, pero una regla mal puesta puede ocultar partes importantes de la web.

Robots.txt

Qué significa Robots.txt

Robots.txt: Robots.txt es un archivo situado en la raíz del dominio que da instrucciones de rastreo a los bots. No es una herramienta de seguridad, sino una guía para ordenar el recorrido y evitar que los crawlers gasten recursos en zonas innecesarias.

Área AISEO: Rastreo. Esta etiqueta ayuda a situar el término dentro del glosario y a entender si pertenece a rastreo, semántica, rendimiento, seguridad, IA, accesibilidad o certificación.

Importa porque una sola línea puede abrir o bloquear grandes partes del sitio. Bien usado, mejora el orden del rastreo; mal usado, puede dejar fuera contenido que sí debía ser descubierto.
  • Revisar qué carpetas están permitidas y cuáles bloqueadas.
  • Comprobar que no se bloqueen recursos necesarios para interpretar la página.
  • Incluir el sitemap cuando sea útil.
  • Probar las reglas después de cambios importantes.

Errores habituales

Bloquear todo el sitio por mantener una regla de pruebas.
Usarlo como si protegiera información privada.
Impedir el acceso a CSS o JavaScript necesario.
No actualizarlo después de cambiar la estructura de carpetas.

Preguntas frecuentes sobre Robots.txt

¿Qué es Robots.txt?
Robots.txt es un archivo situado en la raíz del dominio que da instrucciones de rastreo a los bots. No es una herramienta de seguridad, sino una guía para ordenar el recorrido y evitar que los crawlers gasten recursos en zonas innecesarias.
¿Por qué conviene revisar Robots.txt?
Importa porque una sola línea puede abrir o bloquear grandes partes del sitio. Bien usado, mejora el orden del rastreo; mal usado, puede dejar fuera contenido que sí debía ser descubierto.
¿Cómo se trabaja Robots.txt en AISEO?
Revisar qué carpetas están permitidas y cuáles bloqueadas. Comprobar que no se bloqueen recursos necesarios para interpretar la página. Incluir el sitemap cuando sea útil.