CrawlerControl
robots.txt · simulador para crawlers

CrawlerControl

Comprueba qué URLs puede rastrear cada bot, descubre la regla exacta que decide el acceso y descarga un robots.txt corregido antes de publicarlo.

Prueba reglas robots.txt para Googlebot, GPTBot y otros agentes. Comprueba qué regla permite o bloquea una ruta y descarga el texto conservando comentarios y Sitemap.

Probar la herramientaCasos de uso
Sin cuentaProcesamiento localSupuestos visibles

01 · Tus datos

Pega tu robots.txt y prueba una ruta

Separa grupos de user-agent y reglas Allow/Disallow.

El archivo se lee localmente.
No pegues secretos; robots.txt es público.
No se realiza ninguna petición de red.
El registro es deliberadamente corto y versionado.

02 · Resultado

Acceso, regla ganadora y conflictos

Cálculo listo

Acceso bloqueado

La regla más específica es disallow: /training/.

DISALLOWDecisión
3Grupos
1Coincidencias
User-agent probado
Google-Extended
Ruta local
/training/private/report.html
Regla ganadora
disallow:/training/
Conflictos
0
  • robots.txt orienta a crawlers cooperativos; no autentica, no protege contenido y no garantiza desindexación.

Método

Cómo funciona

  1. Separa grupos de user-agent y reglas Allow/Disallow.
  2. Selecciona el grupo más específico y aplica la coincidencia de ruta más larga.
  3. Muestra la regla aplicada y los avisos. La descarga conserva el texto introducido, incluidos comentarios, Sitemap y saltos de línea.
Entender antes de decidir →

Cuándo usarlo

Casos de uso

  • Auditar cambios antes de publicar robots.txt.
  • Explicar por qué una ruta queda permitida o bloqueada.
  • Detectar reglas fuera de grupo y contradicciones básicas.
Ejemplo práctico →

Límites

Fuentes y alcance

robots.txt no es autenticación, seguridad ni una orden de desindexación. El simulador implementa un subconjunto práctico de RFC 9309 y no consulta URLs remotas.

RFC 9309
Privacidad por diseño

Tus datos no salen de este dispositivo

La herramienta calcula y genera archivos en tu navegador. No necesita cuenta ni envía el contenido que introduces a Chapa Lab.

Privacidad →