Methode
Hoe het werkt
- Scheidt user-agentgroepen en regels voor toestaan/niet toestaan.
- Selecteer de meest specifieke groep en pas de langste padmatch toe.
- Toont de winnende regel, waarschuwingen en een downloadbare, genormaliseerde robots.txt.
robots.txt · crawlersimulator
CrawlerControl
Controleer welke URL's elke bot kan crawlen, ontdek de exacte regel die de toegang bepaalt en download een gecorrigeerde robots.txt voordat u deze publiceert.
Gratis robots.txt-simulator voor Googlebot, GPTBot en andere crawlers, met conflicten, winnende regel en genormaliseerd bestand.
Geen rekeningLokale verwerkingZichtbare aannames
01 · Jouw input
Plak je robots.txt en probeer een route
Bewerk aannames en bekijk het resultaat onmiddellijk.
Het bestand wordt lokaal gelezen.
Plak geen geheimen; robots.txt is openbaar.
Er is geen netwerkverzoek gedaan.
De plaat is opzettelijk kort en voorzien van een versie.
02 · Resultaat
Toegang, winnende heerschappij en conflicten
Lokale berekening klaarResultaat bijgewerkt met uw gegevens
Het scenario is herberekend met de zichtbare gegevens. Controleer de statistieken, details en limieten voordat u het resultaat gebruikt of downloadt.
DISALLOWBeslissing
3Groepen
1Toevalligheden
- User-agent getest
- Google-Extended
- lokale route
- /training/private/report.html
- Winnende regel
- disallow:/training/
- Conflicten
- 1
- Er zijn conflicterende regels voor toestaan/niet toestaan in: /.
- robots.txt richt zich op coöperatieve crawlers; Het authenticeert niet, beschermt de inhoud niet en garandeert geen de-indexering.
Wanneer moet u het gebruiken?
Gebruiksgevallen
- Controleer wijzigingen voordat u robots.txt publiceert.
- Leg uit waarom een route is toegestaan of geblokkeerd.
- Detecteer regels buiten de groep en fundamentele tegenstrijdigheden.
Grenzen
Bronnen en reikwijdte
robots.txt is geen authenticatie-, beveiligings- of deindexeringsopdracht. De simulator implementeert een praktische subset van RFC 9309 en vraagt geen externe URL's op.
Privacy door ontwerp
Privacy →Uw gegevens blijven op dit apparaat
De tool berekent en maakt bestanden aan in uw browser. Het heeft geen account nodig en stuurt uw input niet naar Chapa Lab.