ملف robots.txt · جهاز محاكاة الزاحف

CrawlerControl

تحقق من عناوين URL التي يمكن لكل برنامج روبوت الزحف إليها، واكتشف القاعدة الدقيقة التي تحدد الوصول، وقم بتنزيل ملف robots.txt المصحح قبل النشر.

اختبر قواعد robots.txt لـ Googlebot وGPTBot وغيرهما. اعرف القاعدة التي تسمح بالمسار أو تمنعه، ونزّل النص مع الحفاظ على التعليقات وSitemap وفواصل الأسطر.

جرّب الأداة حالات الاستخدام

دون حسابمعالجة محليةافتراضات واضحة

01 · بياناتك

الصق ملف robots.txt الخاص بك وجرب المسار

يفصل بين مجموعات وكلاء المستخدم وقواعد السماح/عدم السماح.

قم بتحميل ملف robots.txtتتم قراءة الملف محليا.

محتويات ملف robots.txt

لا تلصق الأسرار؛ ملف robots.txt عام.

الطريق المحلي

لم يتم إجراء أي طلب الشبكة.

وكيل المستخدم

السجل قصير عمدًا ومُنسخ.

02 · النتيجة

الوصول والفوز بالحكم والصراعات

الحساب جاهز

تم حظر الوصول

القاعدة الأكثر تحديدًا هي disallow: /training/.

DISALLOWالقرار

3مجموعات القواعد

1القواعد المطابقة

User-agent الذي جرى اختباره: Google-Extended
المسار: /training/private/report.html
القاعدة الحاسمة: disallow:/training/
الصراعات: 0

googlebot

قواعد 1.

google-extended

قواعد 2.

exampleai

قواعد 1.

يستهدف ملف robots.txt برامج الزحف التعاونية؛ لا يقوم بالمصادقة ولا يحمي المحتوى ولا يضمن إلغاء الفهرسة.

المنهج

كيف تعمل

يفصل بين مجموعات وكلاء المستخدم وقواعد السماح/عدم السماح.
حدد المجموعة الأكثر تحديدًا وقم بتطبيق أطول تطابق للمسار.
يعرض القاعدة المطبقة والتنبيهات. يحافظ التنزيل على النص المدخل، بما فيه التعليقات وSitemap وفواصل الأسطر.

افهم قبل أن تقرر →

متى تُستخدم

حالات الاستخدام

تدقيق التغييرات قبل نشر ملف robots.txt.
اشرح سبب السماح بالمسار أو حظره.
اكتشاف قواعد خارج المجموعة والتناقضات الأساسية.

مثال عملي →

الحدود

المصادر والنطاق

ملف robots.txt ليس مصادقة أو أمانًا أو أمر إلغاء الفهرسة. يطبق جهاز المحاكاة مجموعة فرعية عملية من RFC 9309 ولا يستعلم عن عناوين URL البعيدة.

RFC 9309

الخصوصية حسب التصميم

تبقى بياناتك على هذا الجهاز

تجري الأداة الحسابات وتنشئ الملفات في المتصفح. لا تحتاج حسابًا ولا ترسل مدخلاتك إلى Chapa Lab.

الخصوصية →