Objetivo del tutorial
Robots.txt no posiciona por sí solo. Pero una línea mal puesta puede bloquear el rastreo de una web completa.
Este tutorial explica cómo interpretar el archivo robots.txt, qué señales revisa AISEO y qué errores suelen provocar problemas de rastreo.
El objetivo es asegurar que las zonas públicas importantes puedan ser rastreadas y que los bloqueos sean intencionados.
Qué mira AISEO en robots.txt
AISEO revisa si el archivo robots.txt existe, es accesible y no bloquea por error zonas críticas de la web.
Archivo accesible
Comprueba que robots.txt responde correctamente y puede ser leído por bots.
Bloqueos críticos
Detecta reglas Disallow que puedan impedir el rastreo de contenido importante.
Sitemap declarado
Valora si el archivo facilita la localización del sitemap XML.
Coherencia para bots
La configuración debe ser clara, simple y sin contradicciones evidentes.
Cómo interpretar el resultado
Pass
El archivo existe, responde correctamente y no bloquea áreas públicas esenciales.
Warning
El archivo funciona, pero contiene reglas ambiguas, falta de sitemap o bloqueos que conviene revisar.
Fail
El archivo bloquea contenido crítico, no es accesible o contiene una regla global peligrosa.
Ejemplo técnico orientativo
Un archivo robots.txt básico y permisivo puede tener esta estructura:
User-agent: * Allow: / Sitemap: https://www.ejemplo.com/sitemap.xmlLa regla correcta depende de la web. No todo debe estar abierto, pero lo importante no debe quedar bloqueado por accidente.
Errores frecuentes
- Dejar Disallow: / en producción después de una fase de desarrollo.
- Bloquear carpetas que contienen recursos necesarios para entender la página.
- No declarar el sitemap cuando existe uno válido.
- Confundir robots.txt con una herramienta de seguridad.
Cómo corregirlo
- Accede a /robots.txt y comprueba que el archivo responde correctamente.
- Revisa si existe una regla global que bloquee toda la web.
- Mantén bloqueadas solo las zonas que realmente no deben rastrearse.
- Añade la ruta del sitemap XML si existe y está disponible.