Guía del producto

Cómo funciona

Comprueba qué URLs puede rastrear cada bot, descubre la regla exacta que decide el acceso y descarga un robots.txt corregido antes de publicarlo.

Método

01
Separa grupos de user-agent y reglas Allow/Disallow.
02
Selecciona el grupo más específico y aplica la coincidencia de ruta más larga.
03
Muestra la regla aplicada y los avisos. La descarga conserva el texto introducido, incluidos comentarios, Sitemap y saltos de línea.

Ejemplo práctico

Situación A · Acceso bloqueado

Tus datos

Contenido de robots.txt: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
User-agent: Googlebot
Ruta local: /private/report.html

Resultado

La regla más específica es disallow: /private/.

Decisión: DISALLOW
Grupos: 1
Coincidencias: 1

robots.txt orienta a crawlers cooperativos; no autentica, no protege contenido y no garantiza desindexación.

Situación B · Acceso permitido

Tus datos

Contenido de robots.txt: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
User-agent: Googlebot
Ruta local: /private/public/report.html

Resultado

La regla más específica es allow: /private/public/.

Decisión: ALLOW
Grupos: 1
Coincidencias: 2

robots.txt orienta a crawlers cooperativos; no autentica, no protege contenido y no garantiza desindexación.

Situación C · Acceso bloqueado

Tus datos

Contenido de robots.txt: User-agent: * Allow: /page Disallow: /*.htm
User-agent: Googlebot
Ruta local: /page.htm

Resultado

La regla más específica es disallow: /*.htm.

Decisión: DISALLOW
Grupos: 1
Coincidencias: 2

robots.txt orienta a crawlers cooperativos; no autentica, no protege contenido y no garantiza desindexación.

Situación D · Acceso bloqueado

Tus datos

Contenido de robots.txt: User-agent: * Disallow: /café
User-agent: Googlebot
Ruta local: /caf%C3%A9

Resultado

La regla más específica es disallow: /café.

Decisión: DISALLOW
Grupos: 1
Coincidencias: 1

robots.txt orienta a crawlers cooperativos; no autentica, no protege contenido y no garantiza desindexación.

robots.txt no es autenticación, seguridad ni una orden de desindexación. El simulador implementa un subconjunto práctico de RFC 9309 y no consulta URLs remotas.

Descargar resultado · JSON

Alcance responsable

Fuentes y alcance

robots.txt no es autenticación, seguridad ni una orden de desindexación. El simulador implementa un subconjunto práctico de RFC 9309 y no consulta URLs remotas.

RFC 9309

Probar la herramienta