CrawlerControl
robots.txt · arakatzaileen simulagailua

CrawlerControl

Egiaztatu bot bakoitzak zein URL araka ditzakeen, ezagutu sarbidea erabakitzen duen arau zehatza eta deskargatu robots.txt zuzendua argitaratu aurretik.

Doako robots.txt simulagailua Googlebot, GPTBot eta beste arakatzaile batzuentzat, gatazkekin, arau irabazlearekin eta fitxategi normalizatuarekin.

Tresna probatuErabilera-kasuak
Konturik gabeTokiko prozesamenduaHipotesi ikusgarriak

01 · Zure datuak

Itsatsi zure robots.txt eta saiatu ibilbide bat

Editatu hipotesiak eta berrikusi emaitza berehala.

Fitxategia lokalean irakurtzen da.
Ez itsatsi sekretuak; robots.txt publikoa da.
Ez da sareko eskaerarik egiten.
Diskoa nahita laburra eta bertsionatua da.

02 · Emaitza

Sarbidea, irabazteko araua eta gatazkak

Tokiko kalkulua prest

Emaitza zure datuekin eguneratuta

Eszenatokia berriro kalkulatu da ikusgai dauden datuekin. Berrikusi neurketak, xehetasunak eta mugak emaitza erabili edo deskargatu aurretik.

DISALLOWErabakia
3Taldeak
1Kasualitateak
Erabiltzaile-agente probatua
Google-Extended
tokiko ibilbidea
/training/private/report.html
Irabazlearen araua
disallow:/training/
Gatazkak
1
  • Onartu/Ez onartu arau kontrajarriak daude: /.
  • robots.txt-ek arakatzaile kooperatiboak ditu helburu; Ez du autentifikatzen, ez du edukia babesten eta ez du bermatzen desindexatzea.

Metodoa

Nola dabil

  1. Erabiltzaile-agente taldeak eta Baimendu/Gaietsi arauak bereizten ditu.
  2. Hautatu talde zehatzena eta aplikatu biderik luzeena.
  3. Irabazlearen araua, abisuak eta deskarga daitekeen robots.txt normalizatua bistaratzen ditu.
Erabaki aurretik ulertu →

Noiz erabili

Erabilera-kasuak

  • Ikuskatu aldaketak robots.txt argitaratu aurretik.
  • Azaldu zergatik onartzen den edo blokeatzen den ibilbide bat.
  • Taldez kanpoko arauak eta oinarrizko kontraesanak antzematea.
Adibide praktikoa →

Mugak

Iturriak eta irismena

robots.txt ez da autentifikazioa, segurtasuna edo desindexatzeko komando bat. Simulatzaileak RFC 9309 azpimultzo praktiko bat ezartzen du eta ez ditu urruneko URLak kontsultatzen.

RFC 9309
Pribatutasuna diseinutik

Zure datuak gailu honetan geratzen dira

Tresnak nabigatzailean kalkulatzen eta fitxategiak sortzen ditu, konturik eta Chapa Lab-era bidalketarik gabe.

Pribatutasuna →