Egiaztatu bot bakoitzak zein URL araka ditzakeen, ezagutu sarbidea erabakitzen duen arau zehatza eta deskargatu robots.txt zuzendua argitaratu aurretik.
Metodoa
01
Erabiltzaile-agente taldeak eta Baimendu/Gaietsi arauak bereizten ditu.
02
Hautatu talde zehatzena eta aplikatu biderik luzeena.
03
Aplikatutako araua eta abisuak erakusten ditu. Deskargak sartutako testua gordetzen du, iruzkinak, Sitemap eta lerro-jauziak barne.
robots.txt-ek arakatzaile kooperatiboak ditu helburu; Ez du autentifikatzen, ez du edukia babesten eta ez du bermatzen desindexatzea.
Egoera C · Sarbidea blokeatuta
Zure datuak
robots.txt-en edukia
User-agent: *
Allow: /page
Disallow: /*.htm
Erabiltzaile-agentea
Googlebot
tokiko ibilbidea
/page.htm
Emaitza
Arau zehatzena disallow da: /*.htm.
Erabakia
DISALLOW
Arau-taldeak
1
Bat datozen arauak
2
robots.txt-ek arakatzaile kooperatiboak ditu helburu; Ez du autentifikatzen, ez du edukia babesten eta ez du bermatzen desindexatzea.
Egoera D · Sarbidea blokeatuta
Zure datuak
robots.txt-en edukia
User-agent: *
Disallow: /café
Erabiltzaile-agentea
Googlebot
tokiko ibilbidea
/caf%C3%A9
Emaitza
Arau zehatzena disallow da: /café.
Erabakia
DISALLOW
Arau-taldeak
1
Bat datozen arauak
1
robots.txt-ek arakatzaile kooperatiboak ditu helburu; Ez du autentifikatzen, ez du edukia babesten eta ez du bermatzen desindexatzea.
robots.txt ez da autentifikazioa, segurtasuna edo desindexatzeko komando bat. Simulatzaileak RFC 9309 azpimultzo praktiko bat ezartzen du eta ez ditu urruneko URLak kontsultatzen.
robots.txt ez da autentifikazioa, segurtasuna edo desindexatzeko komando bat. Simulatzaileak RFC 9309 azpimultzo praktiko bat ezartzen du eta ez ditu urruneko URLak kontsultatzen.