Controleer wijzigingen voordat u robots.txt publiceert.
- Wat je doet
- Scheidt user-agentgroepen en regels voor toestaan/niet toestaan.
- Wat je krijgt
- User-agent getest
Productgids
Gebruiksgevallen
Gratis robots.txt-simulator voor Googlebot, GPTBot en andere crawlers, met conflicten, winnende regel en genormaliseerd bestand.
Praktisch voorbeeld
- 01
Controleer wijzigingen voordat u robots.txt publiceert.
- 02
Leg uit waarom een route is toegestaan of geblokkeerd.
- 03
Detecteer regels buiten de groep en fundamentele tegenstrijdigheden.
Leg uit waarom een route is toegestaan of geblokkeerd.
- Wat je doet
- Selecteer de meest specifieke groep en pas de langste padmatch toe.
- Wat je krijgt
- lokale route
Detecteer regels buiten de groep en fundamentele tegenstrijdigheden.
- Wat je doet
- Toont de winnende regel, waarschuwingen en een downloadbare, genormaliseerde robots.txt.
- Wat je krijgt
- Winnende regel
Verantwoord bereik
Bronnen en reikwijdte
robots.txt is geen authenticatie-, beveiligings- of deindexeringsopdracht. De simulator implementeert een praktische subset van RFC 9309 en vraagt geen externe URL's op.