CrawlerControl
robots.txt · simulateur de chenille

CrawlerControl

Vérifiez quelles URL chaque robot peut explorer, découvrez la règle exacte qui décide de l'accès et téléchargez un fichier robots.txt corrigé avant de le publier.

Simulateur robots.txt gratuit pour Googlebot, GPTBot et autres robots d'exploration, avec conflits, règle gagnante et fichier normalisé.

Essayer l’outilCas d’usage
Sans compteTraitement localHypothèses visibles

01 · Vos données

Collez votre robots.txt et essayez un itinéraire

Modifiez les hypothèses et vérifiez immédiatement le résultat.

Le fichier est lu localement.
Ne collez pas de secrets ; robots.txt est public.
Aucune demande de réseau n'est effectuée.
Le disque est volontairement court et versionné.

02 · Résultat

Accès, règle gagnante et conflits

Calcul local prêt

Résultat mis à jour avec vos données

Le scénario a été recalculé avec les données visibles. Examinez les mesures, les détails et les limites avant d’utiliser ou de télécharger le résultat.

DISALLOWDécision
3Groupes
1Coïncidences
Agent utilisateur testé
Google-Extended
itinéraire local
/training/private/report.html
Règle gagnante
disallow:/training/
Conflits
1
  • Il existe des règles d'autorisation/interdiction contradictoires dans : /.
  • robots.txt cible les robots d'exploration coopératifs ; Il n'authentifie pas, ne protège pas le contenu et ne garantit pas la désindexation.

Méthode

Fonctionnement

  1. Sépare les groupes d'agents utilisateurs et les règles d'autorisation/interdiction.
  2. Sélectionnez le groupe le plus spécifique et appliquez la correspondance de chemin la plus longue.
  3. Affiche la règle gagnante, les avertissements et un fichier robots.txt normalisé téléchargeable.
Comprendre avant de décider →

Quand l’utiliser

Cas d’usage

  • Auditez les modifications avant de publier le fichier robots.txt.
  • Expliquez pourquoi un itinéraire est autorisé ou bloqué.
  • Détectez les règles hors groupe et les contradictions fondamentales.
Exemple pratique →

Limites

Sources et portée

robots.txt n'est pas une commande d'authentification, de sécurité ou de désindexation. Le simulateur implémente un sous-ensemble pratique de la RFC 9309 et n'interroge pas les URL distantes.

RFC 9309
Confidentialité intégrée

Vos données restent sur cet appareil

L’outil calcule et crée les fichiers dans votre navigateur, sans compte ni envoi à Chapa Lab.

Confidentialité →