Générateur

Générateur robots.txt

Créez une base propre pour votre fichier robots.txt. Définissez quels bots peuvent crawler votre site, quelles routes bloquer et où se trouve votre sitemap XML.

Configuration Robots.txt

Règle par défaut

Crawl-delay

Sitemap XML

Règles pour des bots spécifiques

Google

Google Image

Bing (MSN)

Yahoo

Yandex

Baidu

Ahrefs

SEMrush

Répertoires restreints

Saisissez un chemin par ligne (ex. /admin/)

Code Robots.txt généré

Où enregistrer ce fichier ?

Vous devez télécharger ce fichier et l'envoyer à la racine de votre domaine (ex. mondomaine.com/robots.txt).

INFO

QU’EST-CE QU’UN FICHIER ROBOTS.TXT ?

Le fichier robots.txt indique aux crawlers quelles zones d’un site ils peuvent visiter et quels chemins ils doivent éviter. Il ne supprime pas une page de Google à lui seul, mais organise le comportement de crawl.

Une configuration claire évite le blocage accidentel de contenus importants et permet de déclarer le sitemap principal pour mieux expliquer la structure du site.

Contrôle du crawl :
Définit les chemins autorisés et bloqués pour les bots.
Sitemap visible :
Inclut l’emplacement du sitemap XML principal.
Prévention des erreurs :
Réduit les blocages accidentels de contenus importants.
Base AISEO :
Aide à maintenir un signal technique clair et vérifiable.

Questions sur robots.txt

Questions fréquentes sur crawl, blocage et sécurité.

Où placer le fichier robots.txt ?

Il doit être placé à la racine du domaine. Par exemple : https://votredomaine.com/robots.txt.

robots.txt supprime-t-il une URL de Google ?

Non. robots.txt contrôle le crawl, mais ne garantit pas la suppression de l’index. Pour empêcher l’indexation, utilisez des signaux comme noindex lorsque c’est approprié.

Puis-je bloquer le panneau d’administration ?

Oui, vous pouvez déclarer des chemins comme /admin/ ou /login/. Mais la vraie sécurité doit reposer sur l’authentification, pas sur robots.txt.