CrawlerControl
robots.txt · προσομοιωτής ανιχνευτή

CrawlerControl

Ελέγξτε ποιες διευθύνσεις URL μπορεί να ανιχνεύσει κάθε bot, μάθετε τον ακριβή κανόνα που καθορίζει την πρόσβαση και κάντε λήψη ενός διορθωμένου robots.txt πριν από τη δημοσίευση.

Ελέγξτε κανόνες robots.txt για Googlebot, GPTBot και άλλα bots. Δείτε ποιος κανόνας επιτρέπει ή αποκλείει μια διαδρομή και κατεβάστε το κείμενο με σχόλια και Sitemap.

Δοκιμάστε το εργαλείοΘήκες χρήσης
Χωρίς λογαριασμόΤοπική επεξεργασίαΟρατές υποθέσεις

01 · Οι εισροές σας

Επικολλήστε το robots.txt και δοκιμάστε μια διαδρομή

Διαχωρίζει τις ομάδες χρηστών-πρακτόρων και τους κανόνες Allow/Disallow.

Το αρχείο διαβάζεται τοπικά.
Μην επικολλάτε μυστικά. Το robots.txt είναι δημόσιο.
Δεν υποβάλλεται αίτημα δικτύου.
Ο δίσκος είναι σκόπιμα σύντομος και διασκευασμένος.

02 · Αποτέλεσμα

Πρόσβαση, κανόνας νίκης και συγκρούσεις

Έτοιμος ο υπολογισμός

Αποκλείστηκε η πρόσβαση

Ο πιο συγκεκριμένος κανόνας είναι disallow: /training/.

DISALLOWΑπόφαση
3Ομάδες κανόνων
1Κανόνες που ταιριάζουν
User-agent που ελέγχθηκε
Google-Extended
Διαδρομή
/training/private/report.html
Καθοριστικός κανόνας
disallow:/training/
Συγκρούσεις
0
  • Το robots.txt στοχεύει συνεργατικά προγράμματα ανίχνευσης. Δεν επαληθεύει την ταυτότητα, δεν προστατεύει το περιεχόμενο και δεν εγγυάται την αποπροσαρμογή του ευρετηρίου.

Μέθοδος

Πώς λειτουργεί

  1. Διαχωρίζει τις ομάδες χρηστών-πρακτόρων και τους κανόνες Allow/Disallow.
  2. Επιλέξτε την πιο συγκεκριμένη ομάδα και εφαρμόστε την αντιστοίχιση της μεγαλύτερης διαδρομής.
  3. Δείχνει τον εφαρμοζόμενο κανόνα και τις προειδοποιήσεις. Η λήψη διατηρεί το αρχικό κείμενο, τα σχόλια, το Sitemap και τις αλλαγές γραμμής.
Κατανοήστε πριν αποφασίσετε →

Πότε να το χρησιμοποιήσετε

Θήκες χρήσης

  • Ελέγξτε τις αλλαγές πριν από τη δημοσίευση του robots.txt.
  • Εξηγήστε γιατί επιτρέπεται ή μπλοκάρεται μια διαδρομή.
  • Εντοπίστε κανόνες εκτός ομάδας και βασικές αντιφάσεις.
Πρακτικό παράδειγμα →

Όρια

Πηγές και πεδίο εφαρμογής

Το robots.txt δεν είναι έλεγχος ταυτότητας, ασφάλεια ή εντολή αφαίρεσης ευρετηρίου. Ο προσομοιωτής υλοποιεί ένα πρακτικό υποσύνολο του RFC 9309 και δεν υποβάλλει ερώτημα σε απομακρυσμένες διευθύνσεις URL.

RFC 9309
Απόρρητο βάσει σχεδίου

Τα δεδομένα σας παραμένουν σε αυτήν τη συσκευή

Το εργαλείο υπολογίζει και δημιουργεί αρχεία στο πρόγραμμα περιήγησής σας. Δεν χρειάζεται λογαριασμό και δεν στέλνει τα στοιχεία σας στο Chapa Lab.

Μυστικότητα →