مثال عملي
01 تدقيق التغييرات قبل نشر ملف robots.txt.
02 اشرح سبب السماح بالمسار أو حظره.
03 اكتشاف قواعد خارج المجموعة والتناقضات الأساسية.
مثال عملي الحالة A · تم حظر الوصول بياناتك
محتويات ملف robots.txt User-agent: *
Disallow: /private/
Allow: /private/public/
Sitemap: https://example.test/sitemap.xml
وكيل المستخدم جوجل بوت
الطريق المحلي /private/report.html النتيجة القاعدة الأكثر تحديدًا هي disallow: /private/.
القرار DISALLOW
مجموعات القواعد 1
القواعد المطابقة 1 يستهدف ملف robots.txt برامج الزحف التعاونية؛ لا يقوم بالمصادقة ولا يحمي المحتوى ولا يضمن إلغاء الفهرسة. الحالة B · مسموح بالوصول بياناتك
محتويات ملف robots.txt User-agent: *
Disallow: /private/
Allow: /private/public/
Sitemap: https://example.test/sitemap.xml
وكيل المستخدم جوجل بوت
الطريق المحلي /private/public/report.html النتيجة القاعدة الأكثر تحديدًا هي allow: /private/public/.
القرار ALLOW
مجموعات القواعد 1
القواعد المطابقة 2 يستهدف ملف robots.txt برامج الزحف التعاونية؛ لا يقوم بالمصادقة ولا يحمي المحتوى ولا يضمن إلغاء الفهرسة. الحالة C · تم حظر الوصول بياناتك
محتويات ملف robots.txt User-agent: *
Allow: /page
Disallow: /*.htm
وكيل المستخدم جوجل بوت
الطريق المحلي /page.htm النتيجة القاعدة الأكثر تحديدًا هي disallow: /*.htm.
القرار DISALLOW
مجموعات القواعد 1
القواعد المطابقة 2 يستهدف ملف robots.txt برامج الزحف التعاونية؛ لا يقوم بالمصادقة ولا يحمي المحتوى ولا يضمن إلغاء الفهرسة. الحالة D · تم حظر الوصول بياناتك
محتويات ملف robots.txt User-agent: *
Disallow: /café
وكيل المستخدم جوجل بوت
الطريق المحلي /caf%C3%A9 النتيجة القاعدة الأكثر تحديدًا هي disallow: /café.
القرار DISALLOW
مجموعات القواعد 1
القواعد المطابقة 1 يستهدف ملف robots.txt برامج الزحف التعاونية؛ لا يقوم بالمصادقة ولا يحمي المحتوى ولا يضمن إلغاء الفهرسة. ملف robots.txt ليس مصادقة أو أمانًا أو أمر إلغاء الفهرسة. يطبق جهاز المحاكاة مجموعة فرعية عملية من RFC 9309 ولا يستعلم عن عناوين URL البعيدة.
تنزيل النتيجة · JSON النطاق المسؤول
المصادر والنطاق ملف robots.txt ليس مصادقة أو أمانًا أو أمر إلغاء الفهرسة. يطبق جهاز المحاكاة مجموعة فرعية عملية من RFC 9309 ولا يستعلم عن عناوين URL البعيدة.
كيف تعمل حالات الاستخدام الخصوصية جرّب الأداة