Überprüfen Sie, welche URLs jeder Bot crawlen kann, finden Sie die genaue Regel heraus, die über den Zugriff entscheidet, und laden Sie vor der Veröffentlichung eine korrigierte robots.txt herunter.
Methode
Trennt Benutzer-Agent-Gruppen und Zulassen/Nicht-Zulassen-Regeln.
Wählen Sie die spezifischste Gruppe aus und wenden Sie die Übereinstimmung mit dem längsten Pfad an.
Zeigt die Gewinnregel, Warnungen und eine herunterladbare normalisierte robots.txt-Datei an.
Ihre Angaben
Annahmen bearbeiten und Ergebnis sofort prüfen.
Ergebnis
Das Szenario wurde mit den sichtbaren Daten neu berechnet. Überprüfen Sie die Metriken, Details und Grenzwerte, bevor Sie das Ergebnis verwenden oder herunterladen.
Verantwortungsvoller Umfang
robots.txt ist kein Authentifizierungs-, Sicherheits- oder Deindexierungsbefehl. Der Simulator implementiert eine praktische Teilmenge von RFC 9309 und fragt keine Remote-URLs ab.