Ελέγξτε κανόνες robots.txt για Googlebot, GPTBot και άλλα bots. Δείτε ποιος κανόνας επιτρέπει ή αποκλείει μια διαδρομή και κατεβάστε το κείμενο με σχόλια και Sitemap.
Πρακτικό παράδειγμα
01
Ελέγξτε τις αλλαγές πριν από τη δημοσίευση του robots.txt.
02
Εξηγήστε γιατί επιτρέπεται ή μπλοκάρεται μια διαδρομή.
03
Εντοπίστε κανόνες εκτός ομάδας και βασικές αντιφάσεις.
Ο πιο συγκεκριμένος κανόνας είναι disallow: /private/.
Απόφαση
DISALLOW
Ομάδες κανόνων
1
Κανόνες που ταιριάζουν
1
Το robots.txt στοχεύει συνεργατικά προγράμματα ανίχνευσης. Δεν επαληθεύει την ταυτότητα, δεν προστατεύει το περιεχόμενο και δεν εγγυάται την αποπροσαρμογή του ευρετηρίου.
Ο πιο συγκεκριμένος κανόνας είναι allow: /private/public/.
Απόφαση
ALLOW
Ομάδες κανόνων
1
Κανόνες που ταιριάζουν
2
Το robots.txt στοχεύει συνεργατικά προγράμματα ανίχνευσης. Δεν επαληθεύει την ταυτότητα, δεν προστατεύει το περιεχόμενο και δεν εγγυάται την αποπροσαρμογή του ευρετηρίου.
Κατάσταση C · Αποκλείστηκε η πρόσβαση
Οι εισροές σας
Περιεχόμενα του robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
Χρήστης-πράκτορας
Googlebot
τοπική διαδρομή
/page.htm
Αποτέλεσμα
Ο πιο συγκεκριμένος κανόνας είναι disallow: /*.htm.
Απόφαση
DISALLOW
Ομάδες κανόνων
1
Κανόνες που ταιριάζουν
2
Το robots.txt στοχεύει συνεργατικά προγράμματα ανίχνευσης. Δεν επαληθεύει την ταυτότητα, δεν προστατεύει το περιεχόμενο και δεν εγγυάται την αποπροσαρμογή του ευρετηρίου.
Κατάσταση D · Αποκλείστηκε η πρόσβαση
Οι εισροές σας
Περιεχόμενα του robots.txt
User-agent: *
Disallow: /café
Χρήστης-πράκτορας
Googlebot
τοπική διαδρομή
/caf%C3%A9
Αποτέλεσμα
Ο πιο συγκεκριμένος κανόνας είναι disallow: /café.
Απόφαση
DISALLOW
Ομάδες κανόνων
1
Κανόνες που ταιριάζουν
1
Το robots.txt στοχεύει συνεργατικά προγράμματα ανίχνευσης. Δεν επαληθεύει την ταυτότητα, δεν προστατεύει το περιεχόμενο και δεν εγγυάται την αποπροσαρμογή του ευρετηρίου.
Το robots.txt δεν είναι έλεγχος ταυτότητας, ασφάλεια ή εντολή αφαίρεσης ευρετηρίου. Ο προσομοιωτής υλοποιεί ένα πρακτικό υποσύνολο του RFC 9309 και δεν υποβάλλει ερώτημα σε απομακρυσμένες διευθύνσεις URL.
Το robots.txt δεν είναι έλεγχος ταυτότητας, ασφάλεια ή εντολή αφαίρεσης ευρετηρίου. Ο προσομοιωτής υλοποιεί ένα πρακτικό υποσύνολο του RFC 9309 και δεν υποβάλλει ερώτημα σε απομακρυσμένες διευθύνσεις URL.