CrawlerControl
robots.txt · simulador de rastreador

CrawlerControl

Verifique quais URLs cada bot pode rastrear, descubra a regra exata que decide o acesso e baixe um robots.txt corrigido antes de publicar.

Teste regras robots.txt para Googlebot, GPTBot e outros agentes. Veja que regra permite ou bloqueia um caminho e descarregue o texto com comentários e Sitemap.

ExperimentarCasos de uso
Sem contaProcessamento localPremissas visíveis

01 · Os seus dados

Cole seu robots.txt e tente uma rota

Separa grupos de agentes de usuários e regras de permissão/proibição.

O arquivo é lido localmente.
Não cole segredos; robots.txt é público.
Nenhuma solicitação de rede é feita.
O registro é deliberadamente curto e versionado.

02 · Resultado

Acesso, regra vencedora e conflitos

Cálculo pronto

Acesso bloqueado

A regra mais específica é disallow: /training/.

DISALLOWDecisão
3Grupos de regras
1Regras correspondentes
User-agent testado
Google-Extended
Caminho
/training/private/report.html
Regra determinante
disallow:/training/
Conflitos
0
  • robots.txt tem como alvo rastreadores cooperativos; Não autentica, não protege o conteúdo e não garante a desindexação.

Método

Como funciona

  1. Separa grupos de agentes de usuários e regras de permissão/proibição.
  2. Selecione o grupo mais específico e aplique a correspondência de caminho mais longo.
  3. Mostra a regra aplicada e os avisos. A transferência preserva o texto introduzido, incluindo comentários, Sitemap e quebras de linha.
Compreender antes de decidir →

Quando usar

Casos de uso

  • Audite as alterações antes de publicar o robots.txt.
  • Explique por que uma rota é permitida ou bloqueada.
  • Detecte regras fora do grupo e contradições básicas.
Exemplo prático →

Limites

Fontes e âmbito

robots.txt não é autenticação, segurança ou um comando de desindexação. O simulador implementa um subconjunto prático do RFC 9309 e não consulta URLs remotas.

RFC 9309
Privacidade desde a conceção

Os seus dados ficam neste dispositivo

A ferramenta calcula e cria ficheiros no navegador. Não requer conta nem envia os dados à Chapa Lab.

Privacidade →