Entrar Auditar web
Entrar Auditar web
Generador

Generador de robots.txt

Crea una base limpia para tu archivo robots.txt. Define qué bots pueden rastrear tu web, qué rutas conviene bloquear y dónde está tu sitemap XML.

Configuración de Robots.txt
Reglas para Bots Específicos
Google
Google Image
Bing (MSN)
Yahoo
Yandex
Baidu
Ahrefs
SEMrush

Introduce una ruta por línea (ej: /admin/)

Código Robots.txt Generado
¿Dónde guardar este archivo?

Debes descargar este archivo y subirlo a la raíz de tu dominio (ej: midominio.com/robots.txt).

INFO

¿QUÉ ES UN ARCHIVO ROBOTS.TXT?

El archivo robots.txt indica a los rastreadores qué zonas de una web pueden consultar y qué rutas no deberían recorrer. No elimina páginas de Google por sí solo, pero ayuda a ordenar el rastreo.

Una configuración clara evita bloqueos accidentales de contenido importante y permite declarar el sitemap principal para que los motores encuentren mejor la estructura del sitio.

  • Control de rastreo:

    Define rutas permitidas y bloqueadas para bots.

  • Sitemap visible:

    Incluye la ubicación del sitemap XML principal.

  • Prevención de errores:

    Reduce bloqueos accidentales de contenido importante.

  • Base AISEO:

    Ayuda a mantener una señal técnica clara y verificable.

Preguntas sobre robots.txt

Dudas frecuentes antes de publicar un archivo robots.txt en producción.

¿Dónde se coloca el archivo robots.txt?
Debe estar en la raíz del dominio. Por ejemplo: https://tudominio.com/robots.txt.
¿robots.txt elimina una URL de Google?
No. robots.txt controla el rastreo, pero no garantiza la eliminación del índice. Para evitar indexación se usan otras señales, como noindex cuando corresponde.
¿Puedo bloquear el panel de administración?
Sí, puedes declarar rutas como /admin/ o /login/. Aun así, la seguridad real debe depender de autenticación, no de robots.txt.