CrawlerControl
Guia del producte

Com funciona

Comprova quins URL pot rastrejar cada bot, descobreix la regla exacta que decideix l'accés i descarrega un robots.txt corregit abans de publicar-lo.

Mètode

  1. 01

    Separa grups d'user-agent i regles Allow/Disallow.

  2. 02

    Seleccioneu el grup més específic i apliqueu la coincidència de ruta més llarga.

  3. 03

    Mostra la regla guanyadora, avisos i un robots.txt normalitzat descarregable.

Les teves dades

Enganxa el teu robots.txt i prova una ruta

Edita els supòsits i revisa el resultat al moment.

Contingut de robots.txt
No enganxis secrets; robots.txt és públic.
Ruta local
No es fa cap petició de xarxa.
User-agent
El registre és deliberadament curt i versionat.

Resultat

Accés, regla guanyadora i conflictes

L?escenari s?ha recalculat amb les dades visibles. Revisa les mètriques, el detall i els límits abans de fer servir o descarregar el resultat.

  • User-agent provat
  • Ruta local
  • Regla guanyadora
  • Conflictes

Abast responsable

Fonts i abast

robots.txt no és autenticació, seguretat ni una ordre de desindexació. El simulador implementa un subconjunt pràctic de RFC 9309 i no consulta URL remotes.

RFC 9309
Provar l’eina