Probatu robots.txt arauak Googlebot, GPTBot eta beste agenteentzat. Ikusi bide bat onartzen edo blokeatzen duen araua, eta deskargatu testua iruzkinak eta Sitemap gordez.
Adibide praktikoa
01
Ikuskatu aldaketak robots.txt argitaratu aurretik.
02
Azaldu zergatik onartzen den edo blokeatzen den ibilbide bat.
03
Taldez kanpoko arauak eta oinarrizko kontraesanak antzematea.
robots.txt-ek arakatzaile kooperatiboak ditu helburu; Ez du autentifikatzen, ez du edukia babesten eta ez du bermatzen desindexatzea.
Egoera C · Sarbidea blokeatuta
Zure datuak
robots.txt-en edukia
User-agent: *
Allow: /page
Disallow: /*.htm
Erabiltzaile-agentea
Googlebot
tokiko ibilbidea
/page.htm
Emaitza
Arau zehatzena disallow da: /*.htm.
Erabakia
DISALLOW
Arau-taldeak
1
Bat datozen arauak
2
robots.txt-ek arakatzaile kooperatiboak ditu helburu; Ez du autentifikatzen, ez du edukia babesten eta ez du bermatzen desindexatzea.
Egoera D · Sarbidea blokeatuta
Zure datuak
robots.txt-en edukia
User-agent: *
Disallow: /café
Erabiltzaile-agentea
Googlebot
tokiko ibilbidea
/caf%C3%A9
Emaitza
Arau zehatzena disallow da: /café.
Erabakia
DISALLOW
Arau-taldeak
1
Bat datozen arauak
1
robots.txt-ek arakatzaile kooperatiboak ditu helburu; Ez du autentifikatzen, ez du edukia babesten eta ez du bermatzen desindexatzea.
robots.txt ez da autentifikazioa, segurtasuna edo desindexatzeko komando bat. Simulatzaileak RFC 9309 azpimultzo praktiko bat ezartzen du eta ez ditu urruneko URLak kontsultatzen.
robots.txt ez da autentifikazioa, segurtasuna edo desindexatzeko komando bat. Simulatzaileak RFC 9309 azpimultzo praktiko bat ezartzen du eta ez ditu urruneko URLak kontsultatzen.