CrawlerControl
robots.txt · simulador de rastrexo

CrawlerControl

Comproba que URL pode rastrexar cada bot, descubre a regra exacta que decide o acceso e descarga un robots.txt corrixido antes de publicalo.

Proba regras robots.txt para Googlebot, GPTBot e outros axentes. Identifica que regra permite ou bloquea unha ruta e descarga o texto cos comentarios e Sitemap.

Probar a ferramentaCasos de uso
Sen contaProcesamento localSupostos visibles

01 · Os teus datos

Pega o teu robots.txt e proba unha ruta

Separa os grupos de axentes de usuarios e as regras de Permitir/Non permitir.

O ficheiro é lido localmente.
Non pegues segredos; robots.txt é público.
Non se realiza ningunha solicitude de rede.
O disco é deliberadamente breve e versionado.

02 · Resultado

Acceso, regra gañadora e conflitos

Cálculo listo

Acceso bloqueado

A regra máis específica é disallow: /training/.

DISALLOWDecisión
3Grupos de regras
1Regras coincidentes
User-agent comprobado
Google-Extended
Ruta
/training/private/report.html
Regra determinante
disallow:/training/
Conflitos
0
  • robots.txt diríxese aos rastreadores cooperativos; Non autentica, non protexe o contido e non garante a desindexación.

Método

Como funciona

  1. Separa os grupos de axentes de usuarios e as regras de Permitir/Non permitir.
  2. Selecciona o grupo máis específico e aplica a coincidencia de camiño máis longo.
  3. Mostra a regra aplicada e os avisos. A descarga conserva o texto introducido, incluídos comentarios, Sitemap e saltos de liña.
Entender antes de decidir →

Cando usalo

Casos de uso

  • Audita os cambios antes de publicar robots.txt.
  • Explica por que se permite ou bloquea unha ruta.
  • Detectar regras fóra do grupo e contradicións básicas.
Exemplo práctico →

Límites

Fontes e alcance

robots.txt non é unha orde de autenticación, seguridade ou desindexación. O simulador implementa un subconxunto práctico de RFC 9309 e non consulta URL remotos.

RFC 9309
Privacidade desde o deseño

Os teus datos quedan neste dispositivo

A ferramenta calcula e crea ficheiros no navegador. Non precisa conta nin envía os datos a Chapa Lab.

Privacidade →