چیک کریں کہ ہر بوٹ کون سے یو آر ایل کو کرال کر سکتا ہے، درست اصول معلوم کریں جو رسائی کا فیصلہ کرتا ہے، اور شائع کرنے سے پہلے ایک درست شدہ robots.txt ڈاؤن لوڈ کریں۔
طریقہ
صارف کے ایجنٹ کے گروپوں کو الگ کرتا ہے اور اجازت/منظور کرنے کے قوانین کو الگ کرتا ہے۔
سب سے مخصوص گروپ کو منتخب کریں اور سب سے لمبا پاتھ میچ لگائیں۔
جیتنے والے اصول، انتباہات اور ڈاؤن لوڈ کے قابل نارملائزڈ robots.txt دکھاتا ہے۔
آپ کا ڈیٹا
مفروضے تبدیل کریں اور نتیجہ فوراً دیکھیں۔
نتیجہ
منظر نامے کو نظر آنے والے ڈیٹا کے ساتھ دوبارہ شمار کیا گیا ہے۔ نتیجہ استعمال کرنے یا ڈاؤن لوڈ کرنے سے پہلے میٹرکس، تفصیل اور حدود کا جائزہ لیں۔
ذمہ دار دائرہ
robots.txt توثیق، سیکورٹی، یا ڈی انڈیکسنگ کمانڈ نہیں ہے۔ سمیلیٹر RFC 9309 کے عملی ذیلی سیٹ کو نافذ کرتا ہے اور ریموٹ یو آر ایل سے استفسار نہیں کرتا ہے۔