CrawlerControl
robots.txt · Crawler-Simulator

CrawlerControl

Überprüfen Sie, welche URLs jeder Bot crawlen kann, finden Sie die genaue Regel heraus, die über den Zugriff entscheidet, und laden Sie vor der Veröffentlichung eine korrigierte robots.txt herunter.

Kostenloser robots.txt-Simulator für Googlebot, GPTBot und andere Crawler, mit Konflikten, Gewinnregel und normalisierter Datei.

Tool ausprobierenAnwendungsfälle
Kein KontoLokale VerarbeitungSichtbare Annahmen

01 · Ihre Angaben

Fügen Sie Ihre robots.txt ein und probieren Sie eine Route aus

Annahmen bearbeiten und Ergebnis sofort prüfen.

Die Datei wird lokal gelesen.
Fügen Sie keine Geheimnisse ein; robots.txt ist öffentlich.
Es wird keine Netzwerkanfrage gestellt.
Die Aufzeichnung ist bewusst kurz und versioniert gehalten.

02 · Ergebnis

Zugang, gewinnende Herrschaft und Konflikte

Lokale Berechnung bereit

Ergebnis mit Ihren Daten aktualisiert

Das Szenario wurde mit den sichtbaren Daten neu berechnet. Überprüfen Sie die Metriken, Details und Grenzwerte, bevor Sie das Ergebnis verwenden oder herunterladen.

DISALLOWEntscheidung
3Gruppen
1Zufälle
Benutzeragent getestet
Google-Extended
lokale Route
/training/private/report.html
Gewinnregel
disallow:/training/
Konflikte
1
  • Es gibt widersprüchliche Zulassen/Nicht-Zulassen-Regeln in: /.
  • robots.txt zielt auf kooperative Crawler ab; Es erfolgt keine Authentifizierung, kein Inhaltsschutz und keine Garantie für die Deindizierung.

Methode

So funktioniert es

  1. Trennt Benutzer-Agent-Gruppen und Zulassen/Nicht-Zulassen-Regeln.
  2. Wählen Sie die spezifischste Gruppe aus und wenden Sie die Übereinstimmung mit dem längsten Pfad an.
  3. Zeigt die Gewinnregel, Warnungen und eine herunterladbare normalisierte robots.txt-Datei an.
Verstehen, bevor Sie entscheiden →

Wann verwenden

Anwendungsfälle

  • Überprüfen Sie Änderungen, bevor Sie robots.txt veröffentlichen.
  • Erklären Sie, warum eine Route erlaubt oder blockiert ist.
  • Erkennen Sie gruppenfremde Regeln und grundlegende Widersprüche.
Praxisbeispiel →

Grenzen

Quellen und Umfang

robots.txt ist kein Authentifizierungs-, Sicherheits- oder Deindexierungsbefehl. Der Simulator implementiert eine praktische Teilmenge von RFC 9309 und fragt keine Remote-URLs ab.

RFC 9309
Datenschutz im Design

Ihre Daten bleiben auf diesem Gerät

Das Tool rechnet und erstellt Dateien im Browser. Es braucht kein Konto und sendet Ihre Eingaben nicht an Chapa Lab.

Datenschutz →