जांचें कि प्रत्येक बॉट कौन से यूआरएल क्रॉल कर सकता है, उस सटीक नियम का पता लगाएं जो पहुंच तय करता है, और प्रकाशन से पहले एक सही robots.txt डाउनलोड करें।
विधि
उपयोगकर्ता-एजेंट समूहों और अनुमति/अस्वीकृति नियमों को अलग करता है।
सबसे विशिष्ट समूह का चयन करें और सबसे लंबा पथ मिलान लागू करें।
विजेता नियम, चेतावनियाँ और डाउनलोड करने योग्य सामान्यीकृत robots.txt प्रदर्शित करता है।
आपका डेटा
मान्यताएँ बदलें और परिणाम तुरंत देखें।
परिणाम
दृश्यमान डेटा के साथ परिदृश्य की पुनर्गणना की गई है। परिणाम का उपयोग करने या डाउनलोड करने से पहले मेट्रिक्स, विवरण और सीमाओं की समीक्षा करें।
जिम्मेदार दायरा
robots.txt प्रमाणीकरण, सुरक्षा, या डीइंडेक्सिंग कमांड नहीं है। सिम्युलेटर RFC 9309 का एक व्यावहारिक उपसमुच्चय लागू करता है और दूरस्थ URL को क्वेरी नहीं करता है।