CrawlerControl
robots.txt · simulatore di crawler

CrawlerControl

Controlla quali URL ciascun bot può scansionare, scopri la regola esatta che decide l'accesso e scarica un robots.txt corretto prima della pubblicazione.

Prova le regole robots.txt per Googlebot, GPTBot e altri agenti. Verifica la regola applicata a un percorso e scarica il testo conservando commenti e Sitemap.

Prova lo strumentoCasi d’uso
Senza accountElaborazione localeIpotesi visibili

01 · I tuoi dati

Incolla il tuo robots.txt e prova un percorso

Separa i gruppi utente-agente e le regole Consenti/Non consenti.

Il file viene letto localmente.
Non incollare segreti; robots.txt è pubblico.
Non viene effettuata alcuna richiesta di rete.
Il record è volutamente breve e con diverse versioni.

02 · Risultato

Accesso, regola vincente e conflitti

Calcolo pronto

Accesso bloccato

La regola più specifica è disallow: /training/.

DISALLOWDecisione
3Gruppi di regole
1Regole corrispondenti
User-agent verificato
Google-Extended
Percorso
/training/private/report.html
Regola determinante
disallow:/training/
Conflitti
0
  • robots.txt prende di mira i crawler cooperativi; Non autentica, non protegge i contenuti e non garantisce la deindicizzazione.

Metodo

Come funziona

  1. Separa i gruppi utente-agente e le regole Consenti/Non consenti.
  2. Seleziona il gruppo più specifico e applica la corrispondenza del percorso più lungo.
  3. Mostra la regola applicata e gli avvisi. Il download conserva il testo inserito, inclusi commenti, Sitemap e interruzioni di riga.
Capire prima di decidere →

Quando usarlo

Casi d’uso

  • Controlla le modifiche prima di pubblicare robots.txt.
  • Spiegare perché un percorso è consentito o bloccato.
  • Rilevare regole esterne al gruppo e contraddizioni di base.
Esempio pratico →

Limiti

Fonti e ambito

robots.txt non è un comando di autenticazione, sicurezza o deindicizzazione. Il simulatore implementa un sottoinsieme pratico di RFC 9309 e non interroga URL remoti.

RFC 9309
Privacy fin dalla progettazione

I tuoi dati restano su questo dispositivo

Lo strumento calcola e crea file nel browser. Non richiede account e non invia i dati a Chapa Lab.

Privacy →