CrawlerControl
robots.txt · simulador de rastrexo

CrawlerControl

Comproba que URL pode rastrexar cada bot, descubre a regra exacta que decide o acceso e descarga un robots.txt corrixido antes de publicalo.

Simulador de robots.txt gratuíto para Googlebot, GPTBot e outros rastreadores, con conflitos, regra gañadora e ficheiro normalizado.

Probar a ferramentaCasos de uso
Sen contaProcesamento localSupostos visibles

01 · Os teus datos

Pega o teu robots.txt e proba unha ruta

Edita os supostos e revisa o resultado ao instante.

O ficheiro é lido localmente.
Non pegues segredos; robots.txt é público.
Non se realiza ningunha solicitude de rede.
O disco é deliberadamente breve e versionado.

02 · Resultado

Acceso, regra gañadora e conflitos

Cálculo local listo

Actualizouse o resultado cos teus datos

Recalculouse o escenario cos datos visibles. Revisa as métricas, os detalles e os límites antes de usar ou descargar o resultado.

DISALLOWDecisión
3Grupos
1Coincidencias
Probado por axente de usuario
Google-Extended
ruta local
/training/private/report.html
Regra gañadora
disallow:/training/
Conflitos
1
  • Hai regras de Permitir/Non permitir conflitos en: /.
  • robots.txt diríxese aos rastreadores cooperativos; Non autentica, non protexe o contido e non garante a desindexación.

Método

Como funciona

  1. Separa os grupos de axentes de usuarios e as regras de Permitir/Non permitir.
  2. Selecciona o grupo máis específico e aplica a coincidencia de camiño máis longo.
  3. Mostra a regra gañadora, avisos e un robots.txt normalizado descargable.
Entender antes de decidir →

Cando usalo

Casos de uso

  • Audita os cambios antes de publicar robots.txt.
  • Explica por que se permite ou bloquea unha ruta.
  • Detectar regras fóra do grupo e contradicións básicas.
Exemplo práctico →

Límites

Fontes e alcance

robots.txt non é unha orde de autenticación, seguridade ou desindexación. O simulador implementa un subconxunto práctico de RFC 9309 e non consulta URL remotos.

RFC 9309
Privacidade desde o deseño

Os teus datos quedan neste dispositivo

A ferramenta calcula e crea ficheiros no navegador. Non precisa conta nin envía os datos a Chapa Lab.

Privacidade →