Vérifiez quelles URL chaque robot peut explorer, découvrez la règle exacte qui décide de l'accès et téléchargez un fichier robots.txt corrigé avant de le publier.
Méthode
01
Sépare les groupes d'agents utilisateurs et les règles d'autorisation/interdiction.
02
Sélectionnez le groupe le plus spécifique et appliquez la correspondance de chemin la plus longue.
03
Affiche la règle appliquée et les avertissements. Le téléchargement conserve le texte saisi, y compris les commentaires, Sitemap et les fins de ligne.
La règle la plus spécifique est allow : /private/public/.
Décision
ALLOW
Groupes de règles
1
Règles correspondantes
2
robots.txt cible les robots d'exploration coopératifs ; Il n'authentifie pas, ne protège pas le contenu et ne garantit pas la désindexation.
Situation C · Accès bloqué
Vos données
Contenu du fichier robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
Agent utilisateur
Googlebot
itinéraire local
/page.htm
Résultat
La règle la plus spécifique est disallow : /*.htm.
Décision
DISALLOW
Groupes de règles
1
Règles correspondantes
2
robots.txt cible les robots d'exploration coopératifs ; Il n'authentifie pas, ne protège pas le contenu et ne garantit pas la désindexation.
Situation D · Accès bloqué
Vos données
Contenu du fichier robots.txt
User-agent: *
Disallow: /café
Agent utilisateur
Googlebot
itinéraire local
/caf%C3%A9
Résultat
La règle la plus spécifique est disallow : /café.
Décision
DISALLOW
Groupes de règles
1
Règles correspondantes
1
robots.txt cible les robots d'exploration coopératifs ; Il n'authentifie pas, ne protège pas le contenu et ne garantit pas la désindexation.
robots.txt n'est pas une commande d'authentification, de sécurité ou de désindexation. Le simulateur implémente un sous-ensemble pratique de la RFC 9309 et n'interroge pas les URL distantes.
robots.txt n'est pas une commande d'authentification, de sécurité ou de désindexation. Le simulateur implémente un sous-ensemble pratique de la RFC 9309 et n'interroge pas les URL distantes.