المنهج
كيف تعمل
- يفصل بين مجموعات وكلاء المستخدم وقواعد السماح/عدم السماح.
- حدد المجموعة الأكثر تحديدًا وقم بتطبيق أطول تطابق للمسار.
- يعرض القاعدة الفائزة والتحذيرات وملف robots.txt العادي القابل للتنزيل.
ملف robots.txt · جهاز محاكاة الزاحف
CrawlerControl
تحقق من عناوين URL التي يمكن لكل برنامج روبوت الزحف إليها، واكتشف القاعدة الدقيقة التي تحدد الوصول، وقم بتنزيل ملف robots.txt المصحح قبل النشر.
محاكي robots.txt مجاني لـ Googlebot وGPTBot وبرامج الزحف الأخرى، مع وجود تعارضات وقاعدة فائزة وملف تمت تسويته.
دون حسابمعالجة محليةافتراضات واضحة
01 · بياناتك
الصق ملف robots.txt الخاص بك وجرب المسار
عدّل الافتراضات وراجع النتيجة فورًا.
تتم قراءة الملف محليا.
لا تلصق الأسرار؛ ملف robots.txt عام.
لم يتم إجراء أي طلب الشبكة.
السجل قصير عمدًا ومُنسخ.
02 · النتيجة
الوصول والفوز بالحكم والصراعات
الحساب المحلي جاهزتم تحديث النتيجة ببياناتك
تمت إعادة حساب السيناريو باستخدام البيانات المرئية. قم بمراجعة المقاييس والتفاصيل والحدود قبل استخدام النتيجة أو تنزيلها.
DISALLOWالقرار
3المجموعات
1الصدف
- تم اختبار وكيل المستخدم
- Google-Extended
- الطريق المحلي
- /training/private/report.html
- قاعدة الفوز
- disallow:/training/
- الصراعات
- 1
- توجد قواعد السماح/عدم السماح متضاربة في: /.
- يستهدف ملف robots.txt برامج الزحف التعاونية؛ لا يقوم بالمصادقة ولا يحمي المحتوى ولا يضمن إلغاء الفهرسة.
متى تُستخدم
حالات الاستخدام
- تدقيق التغييرات قبل نشر ملف robots.txt.
- اشرح سبب السماح بالمسار أو حظره.
- اكتشاف قواعد خارج المجموعة والتناقضات الأساسية.
الحدود
المصادر والنطاق
ملف robots.txt ليس مصادقة أو أمانًا أو أمر إلغاء الفهرسة. يطبق جهاز المحاكاة مجموعة فرعية عملية من RFC 9309 ولا يستعلم عن عناوين URL البعيدة.
الخصوصية حسب التصميم
الخصوصية →تبقى بياناتك على هذا الجهاز
تجري الأداة الحسابات وتنشئ الملفات في المتصفح. لا تحتاج حسابًا ولا ترسل مدخلاتك إلى Chapa Lab.