Método
Cómo funciona
- Separa grupos de user-agent y reglas Allow/Disallow.
- Selecciona el grupo más específico y aplica la coincidencia de ruta más larga.
- Muestra la regla ganadora, avisos y un robots.txt normalizado descargable.
robots.txt · simulador para crawlers
CrawlerControl
Comprueba qué URLs puede rastrear cada bot, descubre la regla exacta que decide el acceso y descarga un robots.txt corregido antes de publicarlo.
Simulador gratuito de robots.txt para Googlebot, GPTBot y otros crawlers, con conflictos, regla ganadora y archivo normalizado.
Sin cuentaProcesamiento localSupuestos visibles
01 · Tus datos
Pega tu robots.txt y prueba una ruta
Edita los supuestos y revisa el resultado al instante.
El archivo se lee localmente.
No pegues secretos; robots.txt es público.
No se realiza ninguna petición de red.
El registro es deliberadamente corto y versionado.
02 · Resultado
Acceso, regla ganadora y conflictos
Cálculo local listoAcceso bloqueado
La regla más específica es disallow: /training/.
DISALLOWDecisión
3Grupos
1Coincidencias
- User-agent probado
- Google-Extended
- Ruta local
- /training/private/report.html
- Regla ganadora
- disallow:/training/
- Conflictos
- 1
- Hay reglas Allow/Disallow contradictorias en: /.
- robots.txt orienta a crawlers cooperativos; no autentica, no protege contenido y no garantiza desindexación.
Cuándo usarlo
Casos de uso
- Auditar cambios antes de publicar robots.txt.
- Explicar por qué una ruta queda permitida o bloqueada.
- Detectar reglas fuera de grupo y contradicciones básicas.
Límites
Fuentes y alcance
robots.txt no es autenticación, seguridad ni una orden de desindexación. El simulador implementa un subconjunto práctico de RFC 9309 y no consulta URLs remotas.
Privacidad por diseño
Privacidad →Tus datos no salen de este dispositivo
La herramienta calcula y genera archivos en tu navegador. No necesita cuenta ni envía el contenido que introduces a Chapa Lab.