CrawlerControl
robots.txt · crawlersimulator

CrawlerControl

Controleer welke URL's elke bot kan crawlen, ontdek de exacte regel die de toegang bepaalt en download een gecorrigeerde robots.txt voordat u deze publiceert.

Test robots.txt voor Googlebot, GPTBot en andere bots. Bekijk welke regel een pad toestaat of blokkeert en download de tekst met behoud van opmerkingen en Sitemap.

Probeer het hulpmiddelGebruiksgevallen
Geen rekeningLokale verwerkingZichtbare aannames

01 · Jouw input

Plak je robots.txt en probeer een route

Scheidt user-agentgroepen en regels voor toestaan/niet toestaan.

Het bestand wordt lokaal gelezen.
Plak geen geheimen; robots.txt is openbaar.
Er is geen netwerkverzoek gedaan.
De plaat is opzettelijk kort en voorzien van een versie.

02 · Resultaat

Toegang, winnende heerschappij en conflicten

Berekening gereed

Toegang geblokkeerd

De meest specifieke regel is disallow: /training/.

DISALLOWBeslissing
3Regelgroepen
1Overeenkomende regels
Geteste User-agent
Google-Extended
Pad
/training/private/report.html
Doorslaggevende regel
disallow:/training/
Conflicten
0
  • robots.txt richt zich op coöperatieve crawlers; Het authenticeert niet, beschermt de inhoud niet en garandeert geen de-indexering.

Methode

Hoe het werkt

  1. Scheidt user-agentgroepen en regels voor toestaan/niet toestaan.
  2. Selecteer de meest specifieke groep en pas de langste padmatch toe.
  3. Toont de toegepaste regel en waarschuwingen. De download bewaart de ingevoerde tekst, inclusief opmerkingen, Sitemap en regeleinden.
Begrijp het voordat u beslist →

Wanneer moet u het gebruiken?

Gebruiksgevallen

  • Controleer wijzigingen voordat u robots.txt publiceert.
  • Leg uit waarom een ​​route is toegestaan ​​of geblokkeerd.
  • Detecteer regels buiten de groep en fundamentele tegenstrijdigheden.
Praktisch voorbeeld →

Grenzen

Bronnen en reikwijdte

robots.txt is geen authenticatie-, beveiligings- of deindexeringsopdracht. De simulator implementeert een praktische subset van RFC 9309 en vraagt ​​geen externe URL's op.

RFC 9309
Privacy door ontwerp

Uw gegevens blijven op dit apparaat

De tool berekent en maakt bestanden aan in uw browser. Het heeft geen account nodig en stuurt uw input niet naar Chapa Lab.

Privacy →