Controlla quali URL ciascun bot può scansionare, scopri la regola esatta che decide l'accesso e scarica un robots.txt corretto prima della pubblicazione.
Metodo
01
Separa i gruppi utente-agente e le regole Consenti/Non consenti.
02
Seleziona il gruppo più specifico e applica la corrispondenza del percorso più lungo.
03
Mostra la regola applicata e gli avvisi. Il download conserva il testo inserito, inclusi commenti, Sitemap e interruzioni di riga.
La regola più specifica è allow: /private/public/.
Decisione
ALLOW
Gruppi di regole
1
Regole corrispondenti
2
robots.txt prende di mira i crawler cooperativi; Non autentica, non protegge i contenuti e non garantisce la deindicizzazione.
Situazione C · Accesso bloccato
I tuoi dati
Contenuto del file robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
Agente utente
Googlebot
percorso locale
/page.htm
Risultato
La regola più specifica è disallow: /*.htm.
Decisione
DISALLOW
Gruppi di regole
1
Regole corrispondenti
2
robots.txt prende di mira i crawler cooperativi; Non autentica, non protegge i contenuti e non garantisce la deindicizzazione.
Situazione D · Accesso bloccato
I tuoi dati
Contenuto del file robots.txt
User-agent: *
Disallow: /café
Agente utente
Googlebot
percorso locale
/caf%C3%A9
Risultato
La regola più specifica è disallow: /café.
Decisione
DISALLOW
Gruppi di regole
1
Regole corrispondenti
1
robots.txt prende di mira i crawler cooperativi; Non autentica, non protegge i contenuti e non garantisce la deindicizzazione.
robots.txt non è un comando di autenticazione, sicurezza o deindicizzazione. Il simulatore implementa un sottoinsieme pratico di RFC 9309 e non interroga URL remoti.
robots.txt non è un comando di autenticazione, sicurezza o deindicizzazione. Il simulatore implementa un sottoinsieme pratico di RFC 9309 e non interroga URL remoti.