Audite as alterações antes de publicar o robots.txt.
- O que faz
- Separa grupos de agentes de usuários e regras de permissão/proibição.
- O que obtém
- Agente de usuário testado
Guia do produto
Casos de uso
Simulador robots.txt gratuito para Googlebot, GPTBot e outros crawlers, com conflitos, regra vencedora e arquivo normalizado.
Exemplo prático
- 01
Audite as alterações antes de publicar o robots.txt.
- 02
Explique por que uma rota é permitida ou bloqueada.
- 03
Detecte regras fora do grupo e contradições básicas.
Explique por que uma rota é permitida ou bloqueada.
- O que faz
- Selecione o grupo mais específico e aplique a correspondência de caminho mais longo.
- O que obtém
- rota local
Detecte regras fora do grupo e contradições básicas.
- O que faz
- Exibe a regra vencedora, avisos e um robots.txt normalizado para download.
- O que obtém
- Regra vencedora
Âmbito responsável
Fontes e âmbito
robots.txt não é autenticação, segurança ou um comando de desindexação. O simulador implementa um subconjunto prático do RFC 9309 e não consulta URLs remotas.