CrawlerControl
robots.txt · arakatzaileen simulagailua

CrawlerControl

Egiaztatu bot bakoitzak zein URL araka ditzakeen, ezagutu sarbidea erabakitzen duen arau zehatza eta deskargatu robots.txt zuzendua argitaratu aurretik.

Probatu robots.txt arauak Googlebot, GPTBot eta beste agenteentzat. Ikusi bide bat onartzen edo blokeatzen duen araua, eta deskargatu testua iruzkinak eta Sitemap gordez.

Tresna probatuErabilera-kasuak
Konturik gabeTokiko prozesamenduaHipotesi ikusgarriak

01 · Zure datuak

Itsatsi zure robots.txt eta saiatu ibilbide bat

Erabiltzaile-agente taldeak eta Baimendu/Gaietsi arauak bereizten ditu.

Fitxategia lokalean irakurtzen da.
Ez itsatsi sekretuak; robots.txt publikoa da.
Ez da sareko eskaerarik egiten.
Diskoa nahita laburra eta bertsionatua da.

02 · Emaitza

Sarbidea, irabazteko araua eta gatazkak

Kalkulua prest

Sarbidea blokeatuta

Arau zehatzena disallow da: /training/.

DISALLOWErabakia
3Arau-taldeak
1Bat datozen arauak
Probatutako User-agent
Google-Extended
Bidea
/training/private/report.html
Arau erabakigarria
disallow:/training/
Gatazkak
0
  • robots.txt-ek arakatzaile kooperatiboak ditu helburu; Ez du autentifikatzen, ez du edukia babesten eta ez du bermatzen desindexatzea.

Metodoa

Nola dabil

  1. Erabiltzaile-agente taldeak eta Baimendu/Gaietsi arauak bereizten ditu.
  2. Hautatu talde zehatzena eta aplikatu biderik luzeena.
  3. Aplikatutako araua eta abisuak erakusten ditu. Deskargak sartutako testua gordetzen du, iruzkinak, Sitemap eta lerro-jauziak barne.
Erabaki aurretik ulertu →

Noiz erabili

Erabilera-kasuak

  • Ikuskatu aldaketak robots.txt argitaratu aurretik.
  • Azaldu zergatik onartzen den edo blokeatzen den ibilbide bat.
  • Taldez kanpoko arauak eta oinarrizko kontraesanak antzematea.
Adibide praktikoa →

Mugak

Iturriak eta irismena

robots.txt ez da autentifikazioa, segurtasuna edo desindexatzeko komando bat. Simulatzaileak RFC 9309 azpimultzo praktiko bat ezartzen du eta ez ditu urruneko URLak kontsultatzen.

RFC 9309
Pribatutasuna diseinutik

Zure datuak gailu honetan geratzen dira

Tresnak nabigatzailean kalkulatzen eta fitxategiak sortzen ditu, konturik eta Chapa Lab-era bidalketarik gabe.

Pribatutasuna →