CrawlerControl
Guida del prodotto

Come funziona

Controlla quali URL ciascun bot può scansionare, scopri la regola esatta che decide l'accesso e scarica un robots.txt corretto prima della pubblicazione.

Metodo

  1. 01

    Separa i gruppi utente-agente e le regole Consenti/Non consenti.

  2. 02

    Seleziona il gruppo più specifico e applica la corrispondenza del percorso più lungo.

  3. 03

    Visualizza la regola vincente, gli avvisi e un file robots.txt normalizzato scaricabile.

I tuoi dati

Incolla il tuo robots.txt e prova un percorso

Modifica le ipotesi e controlla subito il risultato.

Contenuto del file robots.txt
Non incollare segreti; robots.txt è pubblico.
percorso locale
Non viene effettuata alcuna richiesta di rete.
Agente utente
Il record è volutamente breve e con diverse versioni.

Risultato

Accesso, regola vincente e conflitti

Lo scenario è stato ricalcolato con i dati visibili. Esamina le metriche, i dettagli e i limiti prima di utilizzare o scaricare il risultato.

  • Testato con l'agente utente
  • percorso locale
  • Regola vincente
  • Conflitti

Ambito responsabile

Fonti e ambito

robots.txt non è un comando di autenticazione, sicurezza o deindicizzazione. Il simulatore implementa un sottoinsieme pratico di RFC 9309 e non interroga URL remoti.

Prova lo strumento