Testez les règles robots.txt pour Googlebot, GPTBot et autres agents. Identifiez la règle appliquée à un chemin et téléchargez le texte avec commentaires et Sitemap.
Exemple pratique
01
Auditez les modifications avant de publier le fichier robots.txt.
02
Expliquez pourquoi un itinéraire est autorisé ou bloqué.
03
Détectez les règles hors groupe et les contradictions fondamentales.
La règle la plus spécifique est allow : /private/public/.
Décision
ALLOW
Groupes de règles
1
Règles correspondantes
2
robots.txt cible les robots d'exploration coopératifs ; Il n'authentifie pas, ne protège pas le contenu et ne garantit pas la désindexation.
Situation C · Accès bloqué
Vos données
Contenu du fichier robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
Agent utilisateur
Googlebot
itinéraire local
/page.htm
Résultat
La règle la plus spécifique est disallow : /*.htm.
Décision
DISALLOW
Groupes de règles
1
Règles correspondantes
2
robots.txt cible les robots d'exploration coopératifs ; Il n'authentifie pas, ne protège pas le contenu et ne garantit pas la désindexation.
Situation D · Accès bloqué
Vos données
Contenu du fichier robots.txt
User-agent: *
Disallow: /café
Agent utilisateur
Googlebot
itinéraire local
/caf%C3%A9
Résultat
La règle la plus spécifique est disallow : /café.
Décision
DISALLOW
Groupes de règles
1
Règles correspondantes
1
robots.txt cible les robots d'exploration coopératifs ; Il n'authentifie pas, ne protège pas le contenu et ne garantit pas la désindexation.
robots.txt n'est pas une commande d'authentification, de sécurité ou de désindexation. Le simulateur implémente un sous-ensemble pratique de la RFC 9309 et n'interroge pas les URL distantes.
robots.txt n'est pas une commande d'authentification, de sécurité ou de désindexation. Le simulateur implémente un sous-ensemble pratique de la RFC 9309 et n'interroge pas les URL distantes.