Guía do produto

Como funciona

Comproba que URL pode rastrexar cada bot, descubre a regra exacta que decide o acceso e descarga un robots.txt corrixido antes de publicalo.

Método

01
Separa os grupos de axentes de usuarios e as regras de Permitir/Non permitir.
02
Selecciona o grupo máis específico e aplica a coincidencia de camiño máis longo.
03
Mostra a regra aplicada e os avisos. A descarga conserva o texto introducido, incluídos comentarios, Sitemap e saltos de liña.

Exemplo práctico

Situación A · Acceso bloqueado

Os teus datos

Contido de robots.txt: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
Usuario-axente: Googlebot
ruta local: /private/report.html

Resultado

A regra máis específica é disallow: /private/.

Decisión: DISALLOW
Grupos de regras: 1
Regras coincidentes: 1

robots.txt diríxese aos rastreadores cooperativos; Non autentica, non protexe o contido e non garante a desindexación.

Situación B · Acceso permitido

Os teus datos

Contido de robots.txt: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
Usuario-axente: Googlebot
ruta local: /private/public/report.html

Resultado

A regra máis específica é allow: /private/public/.

Decisión: ALLOW
Grupos de regras: 1
Regras coincidentes: 2

robots.txt diríxese aos rastreadores cooperativos; Non autentica, non protexe o contido e non garante a desindexación.

Situación C · Acceso bloqueado

Os teus datos

Contido de robots.txt: User-agent: * Allow: /page Disallow: /*.htm
Usuario-axente: Googlebot
ruta local: /page.htm

Resultado

A regra máis específica é disallow: /*.htm.

Decisión: DISALLOW
Grupos de regras: 1
Regras coincidentes: 2

robots.txt diríxese aos rastreadores cooperativos; Non autentica, non protexe o contido e non garante a desindexación.

Situación D · Acceso bloqueado

Os teus datos

Contido de robots.txt: User-agent: * Disallow: /café
Usuario-axente: Googlebot
ruta local: /caf%C3%A9

Resultado

A regra máis específica é disallow: /café.

Decisión: DISALLOW
Grupos de regras: 1
Regras coincidentes: 1

robots.txt diríxese aos rastreadores cooperativos; Non autentica, non protexe o contido e non garante a desindexación.

robots.txt non é unha orde de autenticación, seguridade ou desindexación. O simulador implementa un subconxunto práctico de RFC 9309 e non consulta URL remotos.

Descargar resultado · JSON

Alcance responsable

Fontes e alcance

robots.txt non é unha orde de autenticación, seguridade ou desindexación. O simulador implementa un subconxunto práctico de RFC 9309 e non consulta URL remotos.

RFC 9309

Probar a ferramenta