Generator

robots.txt-Generator

Erstellt eine saubere robots.txt-Grundlage. Legen Sie fest, welche Bots Ihre Website crawlen dürfen, welche Pfade gesperrt sind und wo sich die XML-Sitemap befindet.

robots.txt-Konfiguration

Standardregel

Crawl-delay

XML-Sitemap

Regeln für bestimmte Bots

Google

Google Image

Bing (MSN)

Yahoo

Yandex

Baidu

Ahrefs

SEMrush

Gesperrte Verzeichnisse

Geben Sie einen Pfad pro Zeile ein (z. B. /admin/)

Generierter robots.txt-Code

Wo wird diese Datei gespeichert?

Sie müssen diese Datei herunterladen und in das Stammverzeichnis Ihrer Domain hochladen (z. B. meinedomain.de/robots.txt).

INFO

WAS IST EINE ROBOTS.TXT-DATEI?

robots.txt teilt Crawlern mit, welche Bereiche einer Website sie aufrufen dürfen und welche Pfade sie meiden sollen. Sie entfernt Seiten nicht selbst aus Google, steuert aber das Crawling.

Eine klare Konfiguration verhindert versehentliche Sperren wichtiger Inhalte und deklariert die zentrale Sitemap, damit Suchmaschinen die Website-Struktur besser verstehen.

Crawling-Steuerung:
Definiert erlaubte und gesperrte Pfade für Bots.
Sichtbare Sitemap:
Enthält den Speicherort der zentralen XML-Sitemap.
Fehlervermeidung:
Verringert versehentliche Sperren wichtiger Inhalte.
AISEO-Grundlage:
Hilft, ein klares und überprüfbares technisches Signal zu pflegen.

Fragen zu robots.txt

Häufige Fragen zu Crawling, Sperren und Sicherheit.

Wo wird robots.txt abgelegt?

Im Stammverzeichnis der Domain, beispielsweise https://ihredomain.de/robots.txt.

Entfernt robots.txt eine URL aus Google?

Nein. robots.txt steuert das Crawling, garantiert aber keine Entfernung aus dem Index. Dafür sind gegebenenfalls andere Signale wie noindex nötig.

Kann ich den Administrationsbereich sperren?

Sie können Pfade wie /admin/ oder /login/ angeben. Echte Sicherheit muss jedoch auf Authentifizierung beruhen, nicht auf robots.txt.