CrawlerControl
robots.txt · simulatore di crawler

CrawlerControl

Controlla quali URL ciascun bot può scansionare, scopri la regola esatta che decide l'accesso e scarica un robots.txt corretto prima della pubblicazione.

Simulatore gratuito di robots.txt per Googlebot, GPTBot e altri crawler, con conflitti, regola vincente e file normalizzato.

Prova lo strumentoCasi d’uso
Senza accountElaborazione localeIpotesi visibili

01 · I tuoi dati

Incolla il tuo robots.txt e prova un percorso

Modifica le ipotesi e controlla subito il risultato.

Il file viene letto localmente.
Non incollare segreti; robots.txt è pubblico.
Non viene effettuata alcuna richiesta di rete.
Il record è volutamente breve e con diverse versioni.

02 · Risultato

Accesso, regola vincente e conflitti

Calcolo locale pronto

Risultato aggiornato con i tuoi dati

Lo scenario è stato ricalcolato con i dati visibili. Esamina le metriche, i dettagli e i limiti prima di utilizzare o scaricare il risultato.

DISALLOWDecisione
3Gruppi
1Coincidenze
Testato con l'agente utente
Google-Extended
percorso locale
/training/private/report.html
Regola vincente
disallow:/training/
Conflitti
1
  • Sono presenti regole Consenti/Disabilita in conflitto in: /.
  • robots.txt prende di mira i crawler cooperativi; Non autentica, non protegge i contenuti e non garantisce la deindicizzazione.

Metodo

Come funziona

  1. Separa i gruppi utente-agente e le regole Consenti/Non consenti.
  2. Seleziona il gruppo più specifico e applica la corrispondenza del percorso più lungo.
  3. Visualizza la regola vincente, gli avvisi e un file robots.txt normalizzato scaricabile.
Capire prima di decidere →

Quando usarlo

Casi d’uso

  • Controlla le modifiche prima di pubblicare robots.txt.
  • Spiegare perché un percorso è consentito o bloccato.
  • Rilevare regole esterne al gruppo e contraddizioni di base.
Esempio pratico →

Limiti

Fonti e ambito

robots.txt non è un comando di autenticazione, sicurezza o deindicizzazione. Il simulatore implementa un sottoinsieme pratico di RFC 9309 e non interroga URL remoti.

RFC 9309
Privacy fin dalla progettazione

I tuoi dati restano su questo dispositivo

Lo strumento calcola e crea file nel browser. Non richiede account e non invia i dati a Chapa Lab.

Privacy →