Controleer welke URL's elke bot kan crawlen, ontdek de exacte regel die de toegang bepaalt en download een gecorrigeerde robots.txt voordat u deze publiceert.
Methode
01
Scheidt user-agentgroepen en regels voor toestaan/niet toestaan.
02
Selecteer de meest specifieke groep en pas de langste padmatch toe.
03
Toont de toegepaste regel en waarschuwingen. De download bewaart de ingevoerde tekst, inclusief opmerkingen, Sitemap en regeleinden.
De meest specifieke regel is allow: /private/public/.
Beslissing
ALLOW
Regelgroepen
1
Overeenkomende regels
2
robots.txt richt zich op coöperatieve crawlers; Het authenticeert niet, beschermt de inhoud niet en garandeert geen de-indexering.
Situatie C · Toegang geblokkeerd
Jouw input
Inhoud van robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
User-agent
Googlebot
lokale route
/page.htm
Resultaat
De meest specifieke regel is disallow: /*.htm.
Beslissing
DISALLOW
Regelgroepen
1
Overeenkomende regels
2
robots.txt richt zich op coöperatieve crawlers; Het authenticeert niet, beschermt de inhoud niet en garandeert geen de-indexering.
Situatie D · Toegang geblokkeerd
Jouw input
Inhoud van robots.txt
User-agent: *
Disallow: /café
User-agent
Googlebot
lokale route
/caf%C3%A9
Resultaat
De meest specifieke regel is disallow: /café.
Beslissing
DISALLOW
Regelgroepen
1
Overeenkomende regels
1
robots.txt richt zich op coöperatieve crawlers; Het authenticeert niet, beschermt de inhoud niet en garandeert geen de-indexering.
robots.txt is geen authenticatie-, beveiligings- of deindexeringsopdracht. De simulator implementeert een praktische subset van RFC 9309 en vraagt geen externe URL's op.
robots.txt is geen authenticatie-, beveiligings- of deindexeringsopdracht. De simulator implementeert een praktische subset van RFC 9309 en vraagt geen externe URL's op.