robots.txt für Googlebot, GPTBot und andere Bots prüfen: die wirksame Regel für einen Pfad erkennen und den Text samt Kommentaren und Sitemap herunterladen.
Praxisbeispiel
01
Überprüfen Sie Änderungen, bevor Sie robots.txt veröffentlichen.
02
Erklären Sie, warum eine Route erlaubt oder blockiert ist.
03
Erkennen Sie gruppenfremde Regeln und grundlegende Widersprüche.
robots.txt gibt kooperativen Crawlern Hinweise. Die Datei bietet keine Zugangskontrolle, schützt keine Inhalte und garantiert keine Entfernung aus dem Suchindex.
Die spezifischste Regel ist allow: /private/public/.
Entscheidung
ALLOW
Regelgruppen
1
Passende Regeln
2
robots.txt gibt kooperativen Crawlern Hinweise. Die Datei bietet keine Zugangskontrolle, schützt keine Inhalte und garantiert keine Entfernung aus dem Suchindex.
Situation C · Zugriff blockiert
Ihre Angaben
Inhalt von robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
Benutzeragent
Googlebot
lokale Route
/page.htm
Ergebnis
Die spezifischste Regel ist disallow: /*.htm.
Entscheidung
DISALLOW
Regelgruppen
1
Passende Regeln
2
robots.txt gibt kooperativen Crawlern Hinweise. Die Datei bietet keine Zugangskontrolle, schützt keine Inhalte und garantiert keine Entfernung aus dem Suchindex.
Situation D · Zugriff blockiert
Ihre Angaben
Inhalt von robots.txt
User-agent: *
Disallow: /café
Benutzeragent
Googlebot
lokale Route
/caf%C3%A9
Ergebnis
Die spezifischste Regel ist disallow: /café.
Entscheidung
DISALLOW
Regelgruppen
1
Passende Regeln
1
robots.txt gibt kooperativen Crawlern Hinweise. Die Datei bietet keine Zugangskontrolle, schützt keine Inhalte und garantiert keine Entfernung aus dem Suchindex.
robots.txt ist kein Authentifizierungs-, Sicherheits- oder Deindexierungsbefehl. Der Simulator implementiert eine praktische Teilmenge von RFC 9309 und fragt keine Remote-URLs ab.
robots.txt ist kein Authentifizierungs-, Sicherheits- oder Deindexierungsbefehl. Der Simulator implementiert eine praktische Teilmenge von RFC 9309 und fragt keine Remote-URLs ab.