Proba regras robots.txt para Googlebot, GPTBot e outros axentes. Identifica que regra permite ou bloquea unha ruta e descarga o texto cos comentarios e Sitemap.
Exemplo práctico
01
Audita os cambios antes de publicar robots.txt.
02
Explica por que se permite ou bloquea unha ruta.
03
Detectar regras fóra do grupo e contradicións básicas.
A regra máis específica é allow: /private/public/.
Decisión
ALLOW
Grupos de regras
1
Regras coincidentes
2
robots.txt diríxese aos rastreadores cooperativos; Non autentica, non protexe o contido e non garante a desindexación.
Situación C · Acceso bloqueado
Os teus datos
Contido de robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
Usuario-axente
Googlebot
ruta local
/page.htm
Resultado
A regra máis específica é disallow: /*.htm.
Decisión
DISALLOW
Grupos de regras
1
Regras coincidentes
2
robots.txt diríxese aos rastreadores cooperativos; Non autentica, non protexe o contido e non garante a desindexación.
Situación D · Acceso bloqueado
Os teus datos
Contido de robots.txt
User-agent: *
Disallow: /café
Usuario-axente
Googlebot
ruta local
/caf%C3%A9
Resultado
A regra máis específica é disallow: /café.
Decisión
DISALLOW
Grupos de regras
1
Regras coincidentes
1
robots.txt diríxese aos rastreadores cooperativos; Non autentica, non protexe o contido e non garante a desindexación.
robots.txt non é unha orde de autenticación, seguridade ou desindexación. O simulador implementa un subconxunto práctico de RFC 9309 e non consulta URL remotos.
robots.txt non é unha orde de autenticación, seguridade ou desindexación. O simulador implementa un subconxunto práctico de RFC 9309 e non consulta URL remotos.