CrawlerControl
robots.txt · کرالر سمیلیٹر

CrawlerControl

چیک کریں کہ ہر بوٹ کون سے یو آر ایل کو کرال کر سکتا ہے، درست اصول معلوم کریں جو رسائی کا فیصلہ کرتا ہے، اور شائع کرنے سے پہلے ایک درست شدہ robots.txt ڈاؤن لوڈ کریں۔

Googlebot، GPTBot اور دیگر ایجنٹس کے لیے robots.txt قواعد آزمائیں۔ راستہ کھولنے یا روکنے والا قاعدہ دیکھیں اور تبصروں اور Sitemap سمیت متن ڈاؤن لوڈ کریں۔

ٹول آزمائیںاستعمال کی صورتیں
اکاؤنٹ کے بغیرمقامی پراسیسنگواضح مفروضے

01 · آپ کا ڈیٹا

اپنا robots.txt پیسٹ کریں اور راستہ آزمائیں۔

صارف کے ایجنٹ کے گروپوں کو الگ کرتا ہے اور اجازت/منظور کرنے کے قوانین کو الگ کرتا ہے۔

فائل مقامی طور پر پڑھی جاتی ہے۔
راز چسپاں نہ کریں؛ robots.txt عوامی ہے۔
نیٹ ورک کی کوئی درخواست نہیں کی گئی ہے۔
ریکارڈ جان بوجھ کر مختصر اور ورژن ہے۔

02 · نتیجہ

رسائی، جیتنے والے اصول اور تنازعات

حساب تیار ہے۔

رسائی مسدود ہے۔

سب سے مخصوص اصول ہے disallow: /training/۔

DISALLOWفیصلہ
3قواعد کے گروہ
1مطابقت رکھنے والے قواعد
آزمایا گیا User-agent
Google-Extended
پاتھ
/training/private/report.html
فیصلہ کن قاعدہ
disallow:/training/
تنازعات
0
  • robots.txt کوآپریٹو کرالر کو نشانہ بناتا ہے؛ یہ توثیق نہیں کرتا، مواد کی حفاظت نہیں کرتا اور ڈی انڈیکسنگ کی ضمانت نہیں دیتا۔

طریقہ

یہ کیسے کام کرتا ہے

  1. صارف کے ایجنٹ کے گروپوں کو الگ کرتا ہے اور اجازت/منظور کرنے کے قوانین کو الگ کرتا ہے۔
  2. سب سے مخصوص گروپ کو منتخب کریں اور سب سے لمبا پاتھ میچ لگائیں۔
  3. لاگو قاعدہ اور تنبیہات دکھاتا ہے۔ ڈاؤن لوڈ میں درج متن، تبصرے، Sitemap اور سطروں کے اختتام محفوظ رہتے ہیں۔
فیصلے سے پہلے سمجھیں →

کب استعمال کریں

استعمال کی صورتیں

  • robots.txt شائع کرنے سے پہلے آڈٹ کی تبدیلیاں۔
  • وضاحت کریں کہ راستے کی اجازت یا بلاک کیوں ہے۔
  • گروپ سے باہر کے اصولوں اور بنیادی تضادات کا پتہ لگائیں۔
عملی مثال →

حدود

ذرائع اور دائرہ

robots.txt توثیق، سیکورٹی، یا ڈی انڈیکسنگ کمانڈ نہیں ہے۔ سمیلیٹر RFC 9309 کے عملی ذیلی سیٹ کو نافذ کرتا ہے اور ریموٹ یو آر ایل سے استفسار نہیں کرتا ہے۔

RFC 9309
بنیادی رازداری

آپ کا ڈیٹا اسی آلے پر رہتا ہے

ٹول براؤزر میں حساب اور فائلیں بناتا ہے، اکاؤنٹ یا Chapa Lab کو ڈیٹا بھیجے بغیر۔

رازداری →