بياناتك
الصق ملف robots.txt الخاص بك وجرب المسار
عدّل الافتراضات وراجع النتيجة فورًا.
- محتويات ملف robots.txt
- لا تلصق الأسرار؛ ملف robots.txt عام.
- الطريق المحلي
- لم يتم إجراء أي طلب الشبكة.
- وكيل المستخدم
- السجل قصير عمدًا ومُنسخ.
دليل المنتج
كيف تعمل
تحقق من عناوين URL التي يمكن لكل برنامج روبوت الزحف إليها، واكتشف القاعدة الدقيقة التي تحدد الوصول، وقم بتنزيل ملف robots.txt المصحح قبل النشر.
المنهج
- 01
يفصل بين مجموعات وكلاء المستخدم وقواعد السماح/عدم السماح.
- 02
حدد المجموعة الأكثر تحديدًا وقم بتطبيق أطول تطابق للمسار.
- 03
يعرض القاعدة الفائزة والتحذيرات وملف robots.txt العادي القابل للتنزيل.
النتيجة
الوصول والفوز بالحكم والصراعات
تمت إعادة حساب السيناريو باستخدام البيانات المرئية. قم بمراجعة المقاييس والتفاصيل والحدود قبل استخدام النتيجة أو تنزيلها.
- تم اختبار وكيل المستخدم
- الطريق المحلي
- قاعدة الفوز
- الصراعات
النطاق المسؤول
المصادر والنطاق
ملف robots.txt ليس مصادقة أو أمانًا أو أمر إلغاء الفهرسة. يطبق جهاز المحاكاة مجموعة فرعية عملية من RFC 9309 ولا يستعلم عن عناوين URL البعيدة.