Mètode
Com funciona
- Separa grups d'user-agent i regles Allow/Disallow.
- Seleccioneu el grup més específic i apliqueu la coincidència de ruta més llarga.
- Mostra la regla guanyadora, avisos i un robots.txt normalitzat descarregable.
robots.txt · simulador per a crawlers
CrawlerControl
Comprova quins URL pot rastrejar cada bot, descobreix la regla exacta que decideix l'accés i descarrega un robots.txt corregit abans de publicar-lo.
Simulador gratuït de robots.txt per a Googlebot, GPTBot i altres crawlers, amb conflictes, regla guanyadora i arxiu normalitzat.
Sense compteProcessament localSupòsits visibles
01 · Les teves dades
Enganxa el teu robots.txt i prova una ruta
Edita els supòsits i revisa el resultat al moment.
El fitxer es llegeix localment.
No enganxis secrets; robots.txt és públic.
No es fa cap petició de xarxa.
El registre és deliberadament curt i versionat.
02 · Resultat
Accés, regla guanyadora i conflictes
Càlcul local llestResultat actualitzat amb les teves dades
L?escenari s?ha recalculat amb les dades visibles. Revisa les mètriques, el detall i els límits abans de fer servir o descarregar el resultat.
DISALLOWDecisió
3Grups
1Coincidències
- User-agent provat
- Google-Extended
- Ruta local
- /training/private/report.html
- Regla guanyadora
- disallow:/training/
- Conflictes
- 1
- Hi ha regles Allow/Disallow contradictòries a: /.
- robots.txt orienta a crawlers cooperatius; no autentica, no protegeix contingut i no garanteix desindexació.
Quan fer-lo servir
Casos d’ús
- Auditar canvis abans de publicar robots.txt.
- Explicar perquè una ruta queda permesa o bloquejada.
- Detectar regles fora de grup i contradiccions bàsiques.
Límits
Fonts i abast
robots.txt no és autenticació, seguretat ni una ordre de desindexació. El simulador implementa un subconjunt pràctic de RFC 9309 i no consulta URL remotes.
Privadesa des del disseny
Privadesa →Les dades es queden en aquest dispositiu
L’eina calcula i crea fitxers al navegador. No necessita compte ni envia dades a Chapa Lab.