CrawlerControl
robots.txt · Crawler-Simulator

CrawlerControl

Überprüfen Sie, welche URLs jeder Bot crawlen kann, finden Sie die genaue Regel heraus, die über den Zugriff entscheidet, und laden Sie vor der Veröffentlichung eine korrigierte robots.txt herunter.

robots.txt für Googlebot, GPTBot und andere Bots prüfen: die wirksame Regel für einen Pfad erkennen und den Text samt Kommentaren und Sitemap herunterladen.

Tool ausprobierenAnwendungsfälle
Kein KontoLokale VerarbeitungSichtbare Annahmen

01 · Ihre Angaben

Fügen Sie Ihre robots.txt ein und probieren Sie eine Route aus

Trennt Benutzer-Agent-Gruppen und Zulassen/Nicht-Zulassen-Regeln.

Die Datei wird lokal gelesen.
Fügen Sie keine Geheimnisse ein; robots.txt ist öffentlich.
Es wird keine Netzwerkanfrage gestellt.
Die Aufzeichnung ist bewusst kurz und versioniert gehalten.

02 · Ergebnis

Zugang, gewinnende Herrschaft und Konflikte

Berechnung bereit

Zugriff blockiert

Die spezifischste Regel ist disallow: /training/.

DISALLOWEntscheidung
3Regelgruppen
1Passende Regeln
Getesteter User-agent
Google-Extended
Pfad
/training/private/report.html
Maßgebliche Regel
disallow:/training/
Konflikte
0
  • robots.txt gibt kooperativen Crawlern Hinweise. Die Datei bietet keine Zugangskontrolle, schützt keine Inhalte und garantiert keine Entfernung aus dem Suchindex.

Methode

So funktioniert es

  1. Trennt Benutzer-Agent-Gruppen und Zulassen/Nicht-Zulassen-Regeln.
  2. Wählen Sie die spezifischste Gruppe aus und wenden Sie die Übereinstimmung mit dem längsten Pfad an.
  3. Zeigt die wirksame Regel und Hinweise. Der Download erhält den eingegebenen Text einschließlich Kommentaren, Sitemap und Zeilenumbrüchen.
Verstehen, bevor Sie entscheiden →

Wann verwenden

Anwendungsfälle

  • Überprüfen Sie Änderungen, bevor Sie robots.txt veröffentlichen.
  • Erklären Sie, warum eine Route erlaubt oder blockiert ist.
  • Erkennen Sie gruppenfremde Regeln und grundlegende Widersprüche.
Praxisbeispiel →

Grenzen

Quellen und Umfang

robots.txt ist kein Authentifizierungs-, Sicherheits- oder Deindexierungsbefehl. Der Simulator implementiert eine praktische Teilmenge von RFC 9309 und fragt keine Remote-URLs ab.

RFC 9309
Datenschutz im Design

Ihre Daten bleiben auf diesem Gerät

Das Tool rechnet und erstellt Dateien im Browser. Es braucht kein Konto und sendet Ihre Eingaben nicht an Chapa Lab.

Datenschutz →