CrawlerControl
robots.txt · simulador per a crawlers

CrawlerControl

Comprova quins URL pot rastrejar cada bot, descobreix la regla exacta que decideix l'accés i descarrega un robots.txt corregit abans de publicar-lo.

Prova regles robots.txt per a Googlebot, GPTBot i altres agents. Comprova quina regla permet o bloqueja una ruta i descarrega el text amb comentaris i Sitemap.

Provar l’einaCasos d’ús
Sense compteProcessament localSupòsits visibles

01 · Les teves dades

Enganxa el teu robots.txt i prova una ruta

Separa grups d'user-agent i regles Allow/Disallow.

El fitxer es llegeix localment.
No enganxis secrets; robots.txt és públic.
No es fa cap petició de xarxa.
El registre és deliberadament curt i versionat.

02 · Resultat

Accés, regla guanyadora i conflictes

Càlcul llest

Accés bloquejat

La regla més específica és disallow: /training/.

DISALLOWDecisió
3Grups de regles
1Regles coincidents
User-agent comprovat
Google-Extended
Camí
/training/private/report.html
Regla determinant
disallow:/training/
Conflictes
0
  • robots.txt orienta a crawlers cooperatius; no autentica, no protegeix contingut i no garanteix desindexació.

Mètode

Com funciona

  1. Separa grups d'user-agent i regles Allow/Disallow.
  2. Seleccioneu el grup més específic i apliqueu la coincidència de ruta més llarga.
  3. Mostra la regla aplicada i els avisos. La descàrrega conserva el text introduït, inclosos els comentaris, Sitemap i salts de línia.
Entendre abans de decidir →

Quan fer-lo servir

Casos d’ús

  • Auditar canvis abans de publicar robots.txt.
  • Explicar perquè una ruta queda permesa o bloquejada.
  • Detectar regles fora de grup i contradiccions bàsiques.
Exemple pràctic →

Límits

Fonts i abast

robots.txt no és autenticació, seguretat ni una ordre de desindexació. El simulador implementa un subconjunt pràctic de RFC 9309 i no consulta URL remotes.

RFC 9309
Privadesa des del disseny

Les dades es queden en aquest dispositiu

L’eina calcula i crea fitxers al navegador. No necessita compte ni envia dades a Chapa Lab.

Privadesa →