Gerador de robots.txt
Cria uma base limpa para o seu ficheiro robots.txt. Define quais os bots podem rastrear a sua Web, quais as rotas que é conveniente bloquear e onde está o seu sitemap XML.
O QUE É UM FICHEIRO ROBOTS.TXT?
O Ficheiro robots.txt indica aos rastreadores que áreas de uma web podem consultar e quais rotas não deveriam percorrer. Não elimina páginas do Google por si só, mas ajuda a ordenar o rastreio.
Uma configuração clara evita bloqueios acidentais de conteúdo importante e permite declarar o sitemap principal para que os motores encontrem melhor a estrutura do site.
-
Controlo de rastreio:
Define as rotas permitidas e bloqueadas para os bots.
-
Sitemap visível:
Inclui a localização do sitemap XML principal.
-
Prevenção de erros:
Reduz bloqueios acidentais de conteúdo importante.
-
Base AISEO:
Ajuda a manter um sinal técnico claro e verificável.
Perguntas sobre robots.txt
Dúvidas frequentes antes de publicar um ficheiro robots.txt em produção.