Prova regles robots.txt per a Googlebot, GPTBot i altres agents. Comprova quina regla permet o bloqueja una ruta i descarrega el text amb comentaris i Sitemap.
Exemple pràctic
01
Auditar canvis abans de publicar robots.txt.
02
Explicar perquè una ruta queda permesa o bloquejada.
03
Detectar regles fora de grup i contradiccions bàsiques.
La regla més específica és allow: /private/public/.
Decisió
ALLOW
Grups de regles
1
Regles coincidents
2
robots.txt orienta a crawlers cooperatius; no autentica, no protegeix contingut i no garanteix desindexació.
Situació C · Accés bloquejat
Les teves dades
Contingut de robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
User-agent
Googlebot
Ruta local
/page.htm
Resultat
La regla més específica és disallow: /*.htm.
Decisió
DISALLOW
Grups de regles
1
Regles coincidents
2
robots.txt orienta a crawlers cooperatius; no autentica, no protegeix contingut i no garanteix desindexació.
Situació D · Accés bloquejat
Les teves dades
Contingut de robots.txt
User-agent: *
Disallow: /café
User-agent
Googlebot
Ruta local
/caf%C3%A9
Resultat
La regla més específica és disallow: /café.
Decisió
DISALLOW
Grups de regles
1
Regles coincidents
1
robots.txt orienta a crawlers cooperatius; no autentica, no protegeix contingut i no garanteix desindexació.
robots.txt no és autenticació, seguretat ni una ordre de desindexació. El simulador implementa un subconjunt pràctic de RFC 9309 i no consulta URL remotes.
robots.txt no és autenticació, seguretat ni una ordre de desindexació. El simulador implementa un subconjunt pràctic de RFC 9309 i no consulta URL remotes.