Controleer welke URL's elke bot kan crawlen, ontdek de exacte regel die de toegang bepaalt en download een gecorrigeerde robots.txt voordat u deze publiceert.
Methode
Scheidt user-agentgroepen en regels voor toestaan/niet toestaan.
Selecteer de meest specifieke groep en pas de langste padmatch toe.
Toont de winnende regel, waarschuwingen en een downloadbare, genormaliseerde robots.txt.
Jouw input
Bewerk aannames en bekijk het resultaat onmiddellijk.
Resultaat
Het scenario is herberekend met de zichtbare gegevens. Controleer de statistieken, details en limieten voordat u het resultaat gebruikt of downloadt.
Verantwoord bereik
robots.txt is geen authenticatie-, beveiligings- of deindexeringsopdracht. De simulator implementeert een praktische subset van RFC 9309 en vraagt geen externe URL's op.