Ελέγξτε ποιες διευθύνσεις URL μπορεί να ανιχνεύσει κάθε bot, μάθετε τον ακριβή κανόνα που καθορίζει την πρόσβαση και κάντε λήψη ενός διορθωμένου robots.txt πριν από τη δημοσίευση.
Μέθοδος
Διαχωρίζει τις ομάδες χρηστών-πρακτόρων και τους κανόνες Allow/Disallow.
Επιλέξτε την πιο συγκεκριμένη ομάδα και εφαρμόστε την αντιστοίχιση της μεγαλύτερης διαδρομής.
Εμφανίζει τον κανόνα νίκης, τις προειδοποιήσεις και ένα κανονικοποιημένο robots.txt με δυνατότητα λήψης.
Οι εισροές σας
Επεξεργαστείτε τις υποθέσεις και ελέγξτε το αποτέλεσμα αμέσως.
Αποτέλεσμα
Το σενάριο έχει επανυπολογιστεί με τα ορατά δεδομένα. Ελέγξτε τις μετρήσεις, τις λεπτομέρειες και τα όρια πριν χρησιμοποιήσετε ή κατεβάσετε το αποτέλεσμα.
Υπεύθυνη εμβέλεια
Το robots.txt δεν είναι έλεγχος ταυτότητας, ασφάλεια ή εντολή αφαίρεσης ευρετηρίου. Ο προσομοιωτής υλοποιεί ένα πρακτικό υποσύνολο του RFC 9309 και δεν υποβάλλει ερώτημα σε απομακρυσμένες διευθύνσεις URL.