CrawlerControl
robots.txt · simulateur de chenille

CrawlerControl

Vérifiez quelles URL chaque robot peut explorer, découvrez la règle exacte qui décide de l'accès et téléchargez un fichier robots.txt corrigé avant de le publier.

Testez les règles robots.txt pour Googlebot, GPTBot et autres agents. Identifiez la règle appliquée à un chemin et téléchargez le texte avec commentaires et Sitemap.

Essayer l’outilCas d’usage
Sans compteTraitement localHypothèses visibles

01 · Vos données

Collez votre robots.txt et essayez un itinéraire

Sépare les groupes d'agents utilisateurs et les règles d'autorisation/interdiction.

Le fichier est lu localement.
Ne collez pas de secrets ; robots.txt est public.
Aucune demande de réseau n'est effectuée.
Le disque est volontairement court et versionné.

02 · Résultat

Accès, règle gagnante et conflits

Calcul prêt

Accès bloqué

La règle la plus spécifique est disallow : /training/.

DISALLOWDécision
3Groupes de règles
1Règles correspondantes
User-agent testé
Google-Extended
Chemin
/training/private/report.html
Règle déterminante
disallow:/training/
Conflits
0
  • robots.txt cible les robots d'exploration coopératifs ; Il n'authentifie pas, ne protège pas le contenu et ne garantit pas la désindexation.

Méthode

Fonctionnement

  1. Sépare les groupes d'agents utilisateurs et les règles d'autorisation/interdiction.
  2. Sélectionnez le groupe le plus spécifique et appliquez la correspondance de chemin la plus longue.
  3. Affiche la règle appliquée et les avertissements. Le téléchargement conserve le texte saisi, y compris les commentaires, Sitemap et les fins de ligne.
Comprendre avant de décider →

Quand l’utiliser

Cas d’usage

  • Auditez les modifications avant de publier le fichier robots.txt.
  • Expliquez pourquoi un itinéraire est autorisé ou bloqué.
  • Détectez les règles hors groupe et les contradictions fondamentales.
Exemple pratique →

Limites

Sources et portée

robots.txt n'est pas une commande d'authentification, de sécurité ou de désindexation. Le simulateur implémente un sous-ensemble pratique de la RFC 9309 et n'interroge pas les URL distantes.

RFC 9309
Confidentialité intégrée

Vos données restent sur cet appareil

L’outil calcule et crée les fichiers dans votre navigateur, sans compte ni envoi à Chapa Lab.

Confidentialité →