CrawlerControl
Guia do produto

Como funciona

Verifique quais URLs cada bot pode rastrear, descubra a regra exata que decide o acesso e baixe um robots.txt corrigido antes de publicar.

Método

  1. 01

    Separa grupos de agentes de usuários e regras de permissão/proibição.

  2. 02

    Selecione o grupo mais específico e aplique a correspondência de caminho mais longo.

  3. 03

    Exibe a regra vencedora, avisos e um robots.txt normalizado para download.

Os seus dados

Cole seu robots.txt e tente uma rota

Edite as premissas e reveja o resultado de imediato.

Conteúdo do robots.txt
Não cole segredos; robots.txt é público.
rota local
Nenhuma solicitação de rede é feita.
Agente do usuário
O registro é deliberadamente curto e versionado.

Resultado

Acesso, regra vencedora e conflitos

O cenário foi recalculado com os dados visíveis. Revise métricas, detalhes e limites antes de usar ou baixar o resultado.

  • Agente de usuário testado
  • rota local
  • Regra vencedora
  • Conflitos

Âmbito responsável

Fontes e âmbito

robots.txt não é autenticação, segurança ou um comando de desindexação. O simulador implementa um subconjunto prático do RFC 9309 e não consulta URLs remotas.

RFC 9309
Experimentar