CrawlerControl
Guía do produto

Como funciona

Comproba que URL pode rastrexar cada bot, descubre a regra exacta que decide o acceso e descarga un robots.txt corrixido antes de publicalo.

Método

  1. 01

    Separa os grupos de axentes de usuarios e as regras de Permitir/Non permitir.

  2. 02

    Selecciona o grupo máis específico e aplica a coincidencia de camiño máis longo.

  3. 03

    Mostra a regra gañadora, avisos e un robots.txt normalizado descargable.

Os teus datos

Pega o teu robots.txt e proba unha ruta

Edita os supostos e revisa o resultado ao instante.

Contido de robots.txt
Non pegues segredos; robots.txt é público.
ruta local
Non se realiza ningunha solicitude de rede.
Usuario-axente
O disco é deliberadamente breve e versionado.

Resultado

Acceso, regra gañadora e conflitos

Recalculouse o escenario cos datos visibles. Revisa as métricas, os detalles e os límites antes de usar ou descargar o resultado.

  • Probado por axente de usuario
  • ruta local
  • Regra gañadora
  • Conflitos

Alcance responsable

Fontes e alcance

robots.txt non é unha orde de autenticación, seguridade ou desindexación. O simulador implementa un subconxunto práctico de RFC 9309 e non consulta URL remotos.

RFC 9309
Probar a ferramenta