دليل المنتج

كيف تعمل

تحقق من عناوين URL التي يمكن لكل برنامج روبوت الزحف إليها، واكتشف القاعدة الدقيقة التي تحدد الوصول، وقم بتنزيل ملف robots.txt المصحح قبل النشر.

المنهج

01
يفصل بين مجموعات وكلاء المستخدم وقواعد السماح/عدم السماح.
02
حدد المجموعة الأكثر تحديدًا وقم بتطبيق أطول تطابق للمسار.
03
يعرض القاعدة المطبقة والتنبيهات. يحافظ التنزيل على النص المدخل، بما فيه التعليقات وSitemap وفواصل الأسطر.

مثال عملي

محتويات ملف robots.txt: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
وكيل المستخدم: جوجل بوت
الطريق المحلي: /private/report.html

القاعدة الأكثر تحديدًا هي disallow: /private/.

يستهدف ملف robots.txt برامج الزحف التعاونية؛ لا يقوم بالمصادقة ولا يحمي المحتوى ولا يضمن إلغاء الفهرسة.

محتويات ملف robots.txt: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
وكيل المستخدم: جوجل بوت
الطريق المحلي: /private/public/report.html

القاعدة الأكثر تحديدًا هي allow: /private/public/.

يستهدف ملف robots.txt برامج الزحف التعاونية؛ لا يقوم بالمصادقة ولا يحمي المحتوى ولا يضمن إلغاء الفهرسة.

القاعدة الأكثر تحديدًا هي disallow: /*.htm.

يستهدف ملف robots.txt برامج الزحف التعاونية؛ لا يقوم بالمصادقة ولا يحمي المحتوى ولا يضمن إلغاء الفهرسة.

القاعدة الأكثر تحديدًا هي disallow: /café.

يستهدف ملف robots.txt برامج الزحف التعاونية؛ لا يقوم بالمصادقة ولا يحمي المحتوى ولا يضمن إلغاء الفهرسة.

ملف robots.txt ليس مصادقة أو أمانًا أو أمر إلغاء الفهرسة. يطبق جهاز المحاكاة مجموعة فرعية عملية من RFC 9309 ولا يستعلم عن عناوين URL البعيدة.

النطاق المسؤول