CrawlerControl
robots.txt · προσομοιωτής ανιχνευτή

CrawlerControl

Ελέγξτε ποιες διευθύνσεις URL μπορεί να ανιχνεύσει κάθε bot, μάθετε τον ακριβή κανόνα που καθορίζει την πρόσβαση και κάντε λήψη ενός διορθωμένου robots.txt πριν από τη δημοσίευση.

Δωρεάν προσομοιωτής robots.txt για Googlebot, GPTBot και άλλα προγράμματα ανίχνευσης, με διενέξεις, κανόνα νίκης και κανονικοποιημένο αρχείο.

Δοκιμάστε το εργαλείοΘήκες χρήσης
Χωρίς λογαριασμόΤοπική επεξεργασίαΟρατές υποθέσεις

01 · Οι εισροές σας

Επικολλήστε το robots.txt και δοκιμάστε μια διαδρομή

Επεξεργαστείτε τις υποθέσεις και ελέγξτε το αποτέλεσμα αμέσως.

Το αρχείο διαβάζεται τοπικά.
Μην επικολλάτε μυστικά. Το robots.txt είναι δημόσιο.
Δεν υποβάλλεται αίτημα δικτύου.
Ο δίσκος είναι σκόπιμα σύντομος και διασκευασμένος.

02 · Αποτέλεσμα

Πρόσβαση, κανόνας νίκης και συγκρούσεις

Έτοιμος ο τοπικός υπολογισμός

Το αποτέλεσμα ενημερώθηκε με τα δεδομένα σας

Το σενάριο έχει επανυπολογιστεί με τα ορατά δεδομένα. Ελέγξτε τις μετρήσεις, τις λεπτομέρειες και τα όρια πριν χρησιμοποιήσετε ή κατεβάσετε το αποτέλεσμα.

DISALLOWΑπόφαση
3Ομάδες
1Συμπτώσεις
Δοκιμασμένος παράγοντας χρήστη
Google-Extended
τοπική διαδρομή
/training/private/report.html
Κανόνας νίκης
disallow:/training/
Συγκρούσεις
1
  • Υπάρχουν αντικρουόμενοι κανόνες Allow/Disallow στο: /.
  • Το robots.txt στοχεύει συνεργατικά προγράμματα ανίχνευσης. Δεν επαληθεύει την ταυτότητα, δεν προστατεύει το περιεχόμενο και δεν εγγυάται την αποπροσαρμογή του ευρετηρίου.

Μέθοδος

Πώς λειτουργεί

  1. Διαχωρίζει τις ομάδες χρηστών-πρακτόρων και τους κανόνες Allow/Disallow.
  2. Επιλέξτε την πιο συγκεκριμένη ομάδα και εφαρμόστε την αντιστοίχιση της μεγαλύτερης διαδρομής.
  3. Εμφανίζει τον κανόνα νίκης, τις προειδοποιήσεις και ένα κανονικοποιημένο robots.txt με δυνατότητα λήψης.
Κατανοήστε πριν αποφασίσετε →

Πότε να το χρησιμοποιήσετε

Θήκες χρήσης

  • Ελέγξτε τις αλλαγές πριν από τη δημοσίευση του robots.txt.
  • Εξηγήστε γιατί επιτρέπεται ή μπλοκάρεται μια διαδρομή.
  • Εντοπίστε κανόνες εκτός ομάδας και βασικές αντιφάσεις.
Πρακτικό παράδειγμα →

Όρια

Πηγές και πεδίο εφαρμογής

Το robots.txt δεν είναι έλεγχος ταυτότητας, ασφάλεια ή εντολή αφαίρεσης ευρετηρίου. Ο προσομοιωτής υλοποιεί ένα πρακτικό υποσύνολο του RFC 9309 και δεν υποβάλλει ερώτημα σε απομακρυσμένες διευθύνσεις URL.

RFC 9309
Απόρρητο βάσει σχεδίου

Τα δεδομένα σας παραμένουν σε αυτήν τη συσκευή

Το εργαλείο υπολογίζει και δημιουργεί αρχεία στο πρόγραμμα περιήγησής σας. Δεν χρειάζεται λογαριασμό και δεν στέλνει τα στοιχεία σας στο Chapa Lab.

Μυστικότητα →