Guia del producte

Com funciona

Comprova quins URL pot rastrejar cada bot, descobreix la regla exacta que decideix l'accés i descarrega un robots.txt corregit abans de publicar-lo.

Mètode

01
Separa grups d'user-agent i regles Allow/Disallow.
02
Seleccioneu el grup més específic i apliqueu la coincidència de ruta més llarga.
03
Mostra la regla aplicada i els avisos. La descàrrega conserva el text introduït, inclosos els comentaris, Sitemap i salts de línia.

Exemple pràctic

Situació A · Accés bloquejat

Les teves dades

Contingut de robots.txt: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
User-agent: Googlebot
Ruta local: /private/report.html

Resultat

La regla més específica és disallow: /private/.

Decisió: DISALLOW
Grups de regles: 1
Regles coincidents: 1

robots.txt orienta a crawlers cooperatius; no autentica, no protegeix contingut i no garanteix desindexació.

Situació B · Accés permès

Les teves dades

Contingut de robots.txt: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
User-agent: Googlebot
Ruta local: /private/public/report.html

Resultat

La regla més específica és allow: /private/public/.

Decisió: ALLOW
Grups de regles: 1
Regles coincidents: 2

robots.txt orienta a crawlers cooperatius; no autentica, no protegeix contingut i no garanteix desindexació.

Situació C · Accés bloquejat

Les teves dades

Contingut de robots.txt: User-agent: * Allow: /page Disallow: /*.htm
User-agent: Googlebot
Ruta local: /page.htm

Resultat

La regla més específica és disallow: /*.htm.

Decisió: DISALLOW
Grups de regles: 1
Regles coincidents: 2

robots.txt orienta a crawlers cooperatius; no autentica, no protegeix contingut i no garanteix desindexació.

Situació D · Accés bloquejat

Les teves dades

Contingut de robots.txt: User-agent: * Disallow: /café
User-agent: Googlebot
Ruta local: /caf%C3%A9

Resultat

La regla més específica és disallow: /café.

Decisió: DISALLOW
Grups de regles: 1
Regles coincidents: 1

robots.txt orienta a crawlers cooperatius; no autentica, no protegeix contingut i no garanteix desindexació.

robots.txt no és autenticació, seguretat ni una ordre de desindexació. El simulador implementa un subconjunt pràctic de RFC 9309 i no consulta URL remotes.

Descarregar resultat · JSON

Abast responsable

Fonts i abast

robots.txt no és autenticació, seguretat ni una ordre de desindexació. El simulador implementa un subconjunt pràctic de RFC 9309 i no consulta URL remotes.

RFC 9309

Provar l’eina