विधि
यह कैसे काम करता है
- उपयोगकर्ता-एजेंट समूहों और अनुमति/अस्वीकृति नियमों को अलग करता है।
- सबसे विशिष्ट समूह का चयन करें और सबसे लंबा पथ मिलान लागू करें।
- विजेता नियम, चेतावनियाँ और डाउनलोड करने योग्य सामान्यीकृत robots.txt प्रदर्शित करता है।
robots.txt · क्रॉलर सिम्युलेटर
CrawlerControl
जांचें कि प्रत्येक बॉट कौन से यूआरएल क्रॉल कर सकता है, उस सटीक नियम का पता लगाएं जो पहुंच तय करता है, और प्रकाशन से पहले एक सही robots.txt डाउनलोड करें।
Googlebot, GPTBot और अन्य क्रॉलर के लिए निःशुल्क robots.txt सिम्युलेटर, विरोध, विजयी नियम और सामान्यीकृत फ़ाइल के साथ।
बिना खातेस्थानीय प्रसंस्करणस्पष्ट मान्यताएँ
01 · आपका डेटा
अपना robots.txt चिपकाएँ और एक रूट आज़माएँ
मान्यताएँ बदलें और परिणाम तुरंत देखें।
फ़ाइल स्थानीय रूप से पढ़ी जाती है.
रहस्य चिपकाएँ नहीं; robots.txt सार्वजनिक है.
कोई नेटवर्क अनुरोध नहीं किया गया है.
रिकॉर्ड जानबूझकर छोटा और संस्करणबद्ध है।
02 · परिणाम
पहुंच, विजयी नियम और संघर्ष
स्थानीय गणना तैयारपरिणाम आपके डेटा के साथ अपडेट किया गया
दृश्यमान डेटा के साथ परिदृश्य की पुनर्गणना की गई है। परिणाम का उपयोग करने या डाउनलोड करने से पहले मेट्रिक्स, विवरण और सीमाओं की समीक्षा करें।
DISALLOWनिर्णय
3समूह
1संयोग
- उपयोगकर्ता-एजेंट का परीक्षण किया गया
- Google-Extended
- स्थानीय मार्ग
- /training/private/report.html
- जीतने का नियम
- disallow:/training/
- संघर्ष
- 1
- इसमें परस्पर विरोधी अनुमति/अस्वीकृति नियम हैं: /।
- robots.txt सहकारी क्रॉलर्स को लक्षित करता है; यह प्रमाणित नहीं करता, सामग्री की सुरक्षा नहीं करता और डीइंडेक्सिंग की गारंटी नहीं देता।
कब उपयोग करें
उपयोग के मामले
- robots.txt प्रकाशित करने से पहले ऑडिट परिवर्तन।
- बताएं कि किसी मार्ग को अनुमति क्यों दी गई है या अवरुद्ध किया गया है।
- समूह से बाहर के नियमों और बुनियादी विरोधाभासों का पता लगाएं।
सीमाएँ
स्रोत और दायरा
robots.txt प्रमाणीकरण, सुरक्षा, या डीइंडेक्सिंग कमांड नहीं है। सिम्युलेटर RFC 9309 का एक व्यावहारिक उपसमुच्चय लागू करता है और दूरस्थ URL को क्वेरी नहीं करता है।
डिज़ाइन से गोपनीयता
गोपनीयता →आपका डेटा इसी डिवाइस पर रहता है
टूल ब्राउज़र में गणना और फ़ाइलें बनाता है। कोई खाता नहीं चाहिए और डेटा Chapa Lab को नहीं भेजा जाता।