Guia do produto

Como funciona

Verifique quais URLs cada bot pode rastrear, descubra a regra exata que decide o acesso e baixe um robots.txt corrigido antes de publicar.

Método

01
Separa grupos de agentes de usuários e regras de permissão/proibição.
02
Selecione o grupo mais específico e aplique a correspondência de caminho mais longo.
03
Mostra a regra aplicada e os avisos. A transferência preserva o texto introduzido, incluindo comentários, Sitemap e quebras de linha.

Exemplo prático

Situação A · Acesso bloqueado

Os seus dados

Conteúdo do robots.txt: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
Agente do usuário: Googlebot
rota local: /private/report.html

Resultado

A regra mais específica é disallow: /private/.

Decisão: DISALLOW
Grupos de regras: 1
Regras correspondentes: 1

robots.txt tem como alvo rastreadores cooperativos; Não autentica, não protege o conteúdo e não garante a desindexação.

Situação B · Acesso permitido

Os seus dados

Conteúdo do robots.txt: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
Agente do usuário: Googlebot
rota local: /private/public/report.html

Resultado

A regra mais específica é allow: /private/public/.

Decisão: ALLOW
Grupos de regras: 1
Regras correspondentes: 2

robots.txt tem como alvo rastreadores cooperativos; Não autentica, não protege o conteúdo e não garante a desindexação.

Situação C · Acesso bloqueado

Os seus dados

Conteúdo do robots.txt: User-agent: * Allow: /page Disallow: /*.htm
Agente do usuário: Googlebot
rota local: /page.htm

Resultado

A regra mais específica é disallow: /*.htm.

Decisão: DISALLOW
Grupos de regras: 1
Regras correspondentes: 2

robots.txt tem como alvo rastreadores cooperativos; Não autentica, não protege o conteúdo e não garante a desindexação.

Situação D · Acesso bloqueado

Os seus dados

Conteúdo do robots.txt: User-agent: * Disallow: /café
Agente do usuário: Googlebot
rota local: /caf%C3%A9

Resultado

A regra mais específica é disallow: /café.

Decisão: DISALLOW
Grupos de regras: 1
Regras correspondentes: 1

robots.txt tem como alvo rastreadores cooperativos; Não autentica, não protege o conteúdo e não garante a desindexação.

robots.txt não é autenticação, segurança ou um comando de desindexação. O simulador implementa um subconjunto prático do RFC 9309 e não consulta URLs remotas.

Descarregar resultado · JSON

Âmbito responsável

Fontes e âmbito

robots.txt não é autenticação, segurança ou um comando de desindexação. O simulador implementa um subconjunto prático do RFC 9309 e não consulta URLs remotas.

RFC 9309

Experimentar