CrawlerControl

विधि

यह कैसे काम करता है

1. उपयोगकर्ता-एजेंट समूहों और अनुमति/अस्वीकृति नियमों को अलग करता है।
2. सबसे विशिष्ट समूह का चयन करें और सबसे लंबा पथ मिलान लागू करें।
3. लागू नियम और चेतावनियाँ दिखाता है। डाउनलोड में दर्ज पाठ, टिप्पणियाँ, Sitemap और पंक्ति-अंत सुरक्षित रहते हैं।

कब उपयोग करें

उपयोग के मामले

• robots.txt प्रकाशित करने से पहले ऑडिट परिवर्तन।
• बताएं कि किसी मार्ग को अनुमति क्यों दी गई है या अवरुद्ध किया गया है।
• समूह से बाहर के नियमों और बुनियादी विरोधाभासों का पता लगाएं।

सीमाएँ

स्रोत और दायरा

robots.txt प्रमाणीकरण, सुरक्षा, या डीइंडेक्सिंग कमांड नहीं है। सिम्युलेटर RFC 9309 का एक व्यावहारिक उपसमुच्चय लागू करता है और दूरस्थ URL को क्वेरी नहीं करता है।