Test robots.txt voor Googlebot, GPTBot en andere bots. Bekijk welke regel een pad toestaat of blokkeert en download de tekst met behoud van opmerkingen en Sitemap.
Praktisch voorbeeld
01
Controleer wijzigingen voordat u robots.txt publiceert.
02
Leg uit waarom een route is toegestaan of geblokkeerd.
03
Detecteer regels buiten de groep en fundamentele tegenstrijdigheden.
De meest specifieke regel is allow: /private/public/.
Beslissing
ALLOW
Regelgroepen
1
Overeenkomende regels
2
robots.txt richt zich op coöperatieve crawlers; Het authenticeert niet, beschermt de inhoud niet en garandeert geen de-indexering.
Situatie C · Toegang geblokkeerd
Jouw input
Inhoud van robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
User-agent
Googlebot
lokale route
/page.htm
Resultaat
De meest specifieke regel is disallow: /*.htm.
Beslissing
DISALLOW
Regelgroepen
1
Overeenkomende regels
2
robots.txt richt zich op coöperatieve crawlers; Het authenticeert niet, beschermt de inhoud niet en garandeert geen de-indexering.
Situatie D · Toegang geblokkeerd
Jouw input
Inhoud van robots.txt
User-agent: *
Disallow: /café
User-agent
Googlebot
lokale route
/caf%C3%A9
Resultaat
De meest specifieke regel is disallow: /café.
Beslissing
DISALLOW
Regelgroepen
1
Overeenkomende regels
1
robots.txt richt zich op coöperatieve crawlers; Het authenticeert niet, beschermt de inhoud niet en garandeert geen de-indexering.
robots.txt is geen authenticatie-, beveiligings- of deindexeringsopdracht. De simulator implementeert een praktische subset van RFC 9309 en vraagt geen externe URL's op.
robots.txt is geen authenticatie-, beveiligings- of deindexeringsopdracht. De simulator implementeert een praktische subset van RFC 9309 en vraagt geen externe URL's op.