Controlla quali URL ciascun bot può scansionare, scopri la regola esatta che decide l'accesso e scarica un robots.txt corretto prima della pubblicazione.
Metodo
01
Separa i gruppi utente-agente e le regole Consenti/Non consenti.
02
Seleziona il gruppo più specifico e applica la corrispondenza del percorso più lungo.
03
Visualizza la regola vincente, gli avvisi e un file robots.txt normalizzato scaricabile.
I tuoi dati
Incolla il tuo robots.txt e prova un percorso
Modifica le ipotesi e controlla subito il risultato.
Contenuto del file robots.txt
Non incollare segreti; robots.txt è pubblico.
percorso locale
Non viene effettuata alcuna richiesta di rete.
Agente utente
Il record è volutamente breve e con diverse versioni.
Risultato
Accesso, regola vincente e conflitti
Lo scenario è stato ricalcolato con i dati visibili. Esamina le metriche, i dettagli e i limiti prima di utilizzare o scaricare il risultato.
Testato con l'agente utente
percorso locale
Regola vincente
Conflitti
Ambito responsabile
Fonti e ambito
robots.txt non è un comando di autenticazione, sicurezza o deindicizzazione. Il simulatore implementa un sottoinsieme pratico di RFC 9309 e non interroga URL remoti.