CrawlerControl
robots.txt · simulador de rastreador

CrawlerControl

Verifique quais URLs cada bot pode rastrear, descubra a regra exata que decide o acesso e baixe um robots.txt corrigido antes de publicar.

Simulador robots.txt gratuito para Googlebot, GPTBot e outros crawlers, com conflitos, regra vencedora e arquivo normalizado.

ExperimentarCasos de uso
Sem contaProcessamento localPremissas visíveis

01 · Os seus dados

Cole seu robots.txt e tente uma rota

Edite as premissas e reveja o resultado de imediato.

O arquivo é lido localmente.
Não cole segredos; robots.txt é público.
Nenhuma solicitação de rede é feita.
O registro é deliberadamente curto e versionado.

02 · Resultado

Acesso, regra vencedora e conflitos

Cálculo local pronto

Resultado atualizado com seus dados

O cenário foi recalculado com os dados visíveis. Revise métricas, detalhes e limites antes de usar ou baixar o resultado.

DISALLOWDecisão
3Grupos
1Coincidências
Agente de usuário testado
Google-Extended
rota local
/training/private/report.html
Regra vencedora
disallow:/training/
Conflitos
1
  • Existem regras conflitantes de Permitir/Proibir em: /.
  • robots.txt tem como alvo rastreadores cooperativos; Não autentica, não protege o conteúdo e não garante a desindexação.

Método

Como funciona

  1. Separa grupos de agentes de usuários e regras de permissão/proibição.
  2. Selecione o grupo mais específico e aplique a correspondência de caminho mais longo.
  3. Exibe a regra vencedora, avisos e um robots.txt normalizado para download.
Compreender antes de decidir →

Quando usar

Casos de uso

  • Audite as alterações antes de publicar o robots.txt.
  • Explique por que uma rota é permitida ou bloqueada.
  • Detecte regras fora do grupo e contradições básicas.
Exemplo prático →

Limites

Fontes e âmbito

robots.txt não é autenticação, segurança ou um comando de desindexação. O simulador implementa um subconjunto prático do RFC 9309 e não consulta URLs remotas.

RFC 9309
Privacidade desde a conceção

Os seus dados ficam neste dispositivo

A ferramenta calcula e cria ficheiros no navegador. Não requer conta nem envia os dados à Chapa Lab.

Privacidade →