Überprüfen Sie Änderungen, bevor Sie robots.txt veröffentlichen.
- Was Sie tun
- Trennt Benutzer-Agent-Gruppen und Zulassen/Nicht-Zulassen-Regeln.
- Was Sie erhalten
- Benutzeragent getestet
Produktleitfaden
Anwendungsfälle
Kostenloser robots.txt-Simulator für Googlebot, GPTBot und andere Crawler, mit Konflikten, Gewinnregel und normalisierter Datei.
Praxisbeispiel
- 01
Überprüfen Sie Änderungen, bevor Sie robots.txt veröffentlichen.
- 02
Erklären Sie, warum eine Route erlaubt oder blockiert ist.
- 03
Erkennen Sie gruppenfremde Regeln und grundlegende Widersprüche.
Erklären Sie, warum eine Route erlaubt oder blockiert ist.
- Was Sie tun
- Wählen Sie die spezifischste Gruppe aus und wenden Sie die Übereinstimmung mit dem längsten Pfad an.
- Was Sie erhalten
- lokale Route
Erkennen Sie gruppenfremde Regeln und grundlegende Widersprüche.
- Was Sie tun
- Zeigt die Gewinnregel, Warnungen und eine herunterladbare normalisierte robots.txt-Datei an.
- Was Sie erhalten
- Gewinnregel
Verantwortungsvoller Umfang
Quellen und Umfang
robots.txt ist kein Authentifizierungs-, Sicherheits- oder Deindexierungsbefehl. Der Simulator implementiert eine praktische Teilmenge von RFC 9309 und fragt keine Remote-URLs ab.