Teste regras robots.txt para Googlebot, GPTBot e outros agentes. Veja que regra permite ou bloqueia um caminho e descarregue o texto com comentários e Sitemap.
Exemplo prático
01
Audite as alterações antes de publicar o robots.txt.
02
Explique por que uma rota é permitida ou bloqueada.
03
Detecte regras fora do grupo e contradições básicas.
A regra mais específica é allow: /private/public/.
Decisão
ALLOW
Grupos de regras
1
Regras correspondentes
2
robots.txt tem como alvo rastreadores cooperativos; Não autentica, não protege o conteúdo e não garante a desindexação.
Situação C · Acesso bloqueado
Os seus dados
Conteúdo do robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
Agente do usuário
Googlebot
rota local
/page.htm
Resultado
A regra mais específica é disallow: /*.htm.
Decisão
DISALLOW
Grupos de regras
1
Regras correspondentes
2
robots.txt tem como alvo rastreadores cooperativos; Não autentica, não protege o conteúdo e não garante a desindexação.
Situação D · Acesso bloqueado
Os seus dados
Conteúdo do robots.txt
User-agent: *
Disallow: /café
Agente do usuário
Googlebot
rota local
/caf%C3%A9
Resultado
A regra mais específica é disallow: /café.
Decisão
DISALLOW
Grupos de regras
1
Regras correspondentes
1
robots.txt tem como alvo rastreadores cooperativos; Não autentica, não protege o conteúdo e não garante a desindexação.
robots.txt não é autenticação, segurança ou um comando de desindexação. O simulador implementa um subconjunto prático do RFC 9309 e não consulta URLs remotas.
robots.txt não é autenticação, segurança ou um comando de desindexação. O simulador implementa um subconjunto prático do RFC 9309 e não consulta URLs remotas.