Ελέγξτε ποιες διευθύνσεις URL μπορεί να ανιχνεύσει κάθε bot, μάθετε τον ακριβή κανόνα που καθορίζει την πρόσβαση και κάντε λήψη ενός διορθωμένου robots.txt πριν από τη δημοσίευση.
Μέθοδος
01
Διαχωρίζει τις ομάδες χρηστών-πρακτόρων και τους κανόνες Allow/Disallow.
02
Επιλέξτε την πιο συγκεκριμένη ομάδα και εφαρμόστε την αντιστοίχιση της μεγαλύτερης διαδρομής.
03
Δείχνει τον εφαρμοζόμενο κανόνα και τις προειδοποιήσεις. Η λήψη διατηρεί το αρχικό κείμενο, τα σχόλια, το Sitemap και τις αλλαγές γραμμής.
Ο πιο συγκεκριμένος κανόνας είναι disallow: /private/.
Απόφαση
DISALLOW
Ομάδες κανόνων
1
Κανόνες που ταιριάζουν
1
Το robots.txt στοχεύει συνεργατικά προγράμματα ανίχνευσης. Δεν επαληθεύει την ταυτότητα, δεν προστατεύει το περιεχόμενο και δεν εγγυάται την αποπροσαρμογή του ευρετηρίου.
Ο πιο συγκεκριμένος κανόνας είναι allow: /private/public/.
Απόφαση
ALLOW
Ομάδες κανόνων
1
Κανόνες που ταιριάζουν
2
Το robots.txt στοχεύει συνεργατικά προγράμματα ανίχνευσης. Δεν επαληθεύει την ταυτότητα, δεν προστατεύει το περιεχόμενο και δεν εγγυάται την αποπροσαρμογή του ευρετηρίου.
Κατάσταση C · Αποκλείστηκε η πρόσβαση
Οι εισροές σας
Περιεχόμενα του robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
Χρήστης-πράκτορας
Googlebot
τοπική διαδρομή
/page.htm
Αποτέλεσμα
Ο πιο συγκεκριμένος κανόνας είναι disallow: /*.htm.
Απόφαση
DISALLOW
Ομάδες κανόνων
1
Κανόνες που ταιριάζουν
2
Το robots.txt στοχεύει συνεργατικά προγράμματα ανίχνευσης. Δεν επαληθεύει την ταυτότητα, δεν προστατεύει το περιεχόμενο και δεν εγγυάται την αποπροσαρμογή του ευρετηρίου.
Κατάσταση D · Αποκλείστηκε η πρόσβαση
Οι εισροές σας
Περιεχόμενα του robots.txt
User-agent: *
Disallow: /café
Χρήστης-πράκτορας
Googlebot
τοπική διαδρομή
/caf%C3%A9
Αποτέλεσμα
Ο πιο συγκεκριμένος κανόνας είναι disallow: /café.
Απόφαση
DISALLOW
Ομάδες κανόνων
1
Κανόνες που ταιριάζουν
1
Το robots.txt στοχεύει συνεργατικά προγράμματα ανίχνευσης. Δεν επαληθεύει την ταυτότητα, δεν προστατεύει το περιεχόμενο και δεν εγγυάται την αποπροσαρμογή του ευρετηρίου.
Το robots.txt δεν είναι έλεγχος ταυτότητας, ασφάλεια ή εντολή αφαίρεσης ευρετηρίου. Ο προσομοιωτής υλοποιεί ένα πρακτικό υποσύνολο του RFC 9309 και δεν υποβάλλει ερώτημα σε απομακρυσμένες διευθύνσεις URL.
Το robots.txt δεν είναι έλεγχος ταυτότητας, ασφάλεια ή εντολή αφαίρεσης ευρετηρίου. Ο προσομοιωτής υλοποιεί ένα πρακτικό υποσύνολο του RFC 9309 και δεν υποβάλλει ερώτημα σε απομακρυσμένες διευθύνσεις URL.