Überprüfen Sie, welche URLs jeder Bot crawlen kann, finden Sie die genaue Regel heraus, die über den Zugriff entscheidet, und laden Sie vor der Veröffentlichung eine korrigierte robots.txt herunter.
Methode
01
Trennt Benutzer-Agent-Gruppen und Zulassen/Nicht-Zulassen-Regeln.
02
Wählen Sie die spezifischste Gruppe aus und wenden Sie die Übereinstimmung mit dem längsten Pfad an.
03
Zeigt die wirksame Regel und Hinweise. Der Download erhält den eingegebenen Text einschließlich Kommentaren, Sitemap und Zeilenumbrüchen.
robots.txt gibt kooperativen Crawlern Hinweise. Die Datei bietet keine Zugangskontrolle, schützt keine Inhalte und garantiert keine Entfernung aus dem Suchindex.
Die spezifischste Regel ist allow: /private/public/.
Entscheidung
ALLOW
Regelgruppen
1
Passende Regeln
2
robots.txt gibt kooperativen Crawlern Hinweise. Die Datei bietet keine Zugangskontrolle, schützt keine Inhalte und garantiert keine Entfernung aus dem Suchindex.
Situation C · Zugriff blockiert
Ihre Angaben
Inhalt von robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
Benutzeragent
Googlebot
lokale Route
/page.htm
Ergebnis
Die spezifischste Regel ist disallow: /*.htm.
Entscheidung
DISALLOW
Regelgruppen
1
Passende Regeln
2
robots.txt gibt kooperativen Crawlern Hinweise. Die Datei bietet keine Zugangskontrolle, schützt keine Inhalte und garantiert keine Entfernung aus dem Suchindex.
Situation D · Zugriff blockiert
Ihre Angaben
Inhalt von robots.txt
User-agent: *
Disallow: /café
Benutzeragent
Googlebot
lokale Route
/caf%C3%A9
Ergebnis
Die spezifischste Regel ist disallow: /café.
Entscheidung
DISALLOW
Regelgruppen
1
Passende Regeln
1
robots.txt gibt kooperativen Crawlern Hinweise. Die Datei bietet keine Zugangskontrolle, schützt keine Inhalte und garantiert keine Entfernung aus dem Suchindex.
robots.txt ist kein Authentifizierungs-, Sicherheits- oder Deindexierungsbefehl. Der Simulator implementiert eine praktische Teilmenge von RFC 9309 und fragt keine Remote-URLs ab.
robots.txt ist kein Authentifizierungs-, Sicherheits- oder Deindexierungsbefehl. Der Simulator implementiert eine praktische Teilmenge von RFC 9309 und fragt keine Remote-URLs ab.