Prova le regole robots.txt per Googlebot, GPTBot e altri agenti. Verifica la regola applicata a un percorso e scarica il testo conservando commenti e Sitemap.
Esempio pratico
01
Controlla le modifiche prima di pubblicare robots.txt.
02
Spiegare perché un percorso è consentito o bloccato.
03
Rilevare regole esterne al gruppo e contraddizioni di base.
La regola più specifica è allow: /private/public/.
Decisione
ALLOW
Gruppi di regole
1
Regole corrispondenti
2
robots.txt prende di mira i crawler cooperativi; Non autentica, non protegge i contenuti e non garantisce la deindicizzazione.
Situazione C · Accesso bloccato
I tuoi dati
Contenuto del file robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
Agente utente
Googlebot
percorso locale
/page.htm
Risultato
La regola più specifica è disallow: /*.htm.
Decisione
DISALLOW
Gruppi di regole
1
Regole corrispondenti
2
robots.txt prende di mira i crawler cooperativi; Non autentica, non protegge i contenuti e non garantisce la deindicizzazione.
Situazione D · Accesso bloccato
I tuoi dati
Contenuto del file robots.txt
User-agent: *
Disallow: /café
Agente utente
Googlebot
percorso locale
/caf%C3%A9
Risultato
La regola più specifica è disallow: /café.
Decisione
DISALLOW
Gruppi di regole
1
Regole corrispondenti
1
robots.txt prende di mira i crawler cooperativi; Non autentica, non protegge i contenuti e non garantisce la deindicizzazione.
robots.txt non è un comando di autenticazione, sicurezza o deindicizzazione. Il simulatore implementa un sottoinsieme pratico di RFC 9309 e non interroga URL remoti.
robots.txt non è un comando di autenticazione, sicurezza o deindicizzazione. Il simulatore implementa un sottoinsieme pratico di RFC 9309 e non interroga URL remoti.