जांचें कि प्रत्येक बॉट कौन से यूआरएल क्रॉल कर सकता है, उस सटीक नियम का पता लगाएं जो पहुंच तय करता है, और प्रकाशन से पहले एक सही robots.txt डाउनलोड करें।
विधि
01
उपयोगकर्ता-एजेंट समूहों और अनुमति/अस्वीकृति नियमों को अलग करता है।
02
सबसे विशिष्ट समूह का चयन करें और सबसे लंबा पथ मिलान लागू करें।
03
लागू नियम और चेतावनियाँ दिखाता है। डाउनलोड में दर्ज पाठ, टिप्पणियाँ, Sitemap और पंक्ति-अंत सुरक्षित रहते हैं।
robots.txt सहकारी क्रॉलर को लक्षित करता है; यह प्रमाणित नहीं करता है, सामग्री की सुरक्षा नहीं करता है और डीइंडेक्सिंग की गारंटी नहीं देता है।
स्थिति C · प्रवेश अवरुद्ध
आपका डेटा
robots.txt की सामग्री
User-agent: *
Allow: /page
Disallow: /*.htm
उपयोगकर्ता-एजेंट
गूगलबॉट
स्थानीय मार्ग
/page.htm
परिणाम
सबसे विशिष्ट नियम है disallow: /*.htm.
निर्णय
DISALLOW
नियमों के समूह
1
मेल खाने वाले नियम
2
robots.txt सहकारी क्रॉलर को लक्षित करता है; यह प्रमाणित नहीं करता है, सामग्री की सुरक्षा नहीं करता है और डीइंडेक्सिंग की गारंटी नहीं देता है।
स्थिति D · प्रवेश अवरुद्ध
आपका डेटा
robots.txt की सामग्री
User-agent: *
Disallow: /café
उपयोगकर्ता-एजेंट
गूगलबॉट
स्थानीय मार्ग
/caf%C3%A9
परिणाम
सबसे विशिष्ट नियम है disallow: /café.
निर्णय
DISALLOW
नियमों के समूह
1
मेल खाने वाले नियम
1
robots.txt सहकारी क्रॉलर को लक्षित करता है; यह प्रमाणित नहीं करता है, सामग्री की सुरक्षा नहीं करता है और डीइंडेक्सिंग की गारंटी नहीं देता है।
robots.txt प्रमाणीकरण, सुरक्षा, या डीइंडेक्सिंग कमांड नहीं है। सिम्युलेटर RFC 9309 का एक व्यावहारिक उपसमुच्चय लागू करता है और दूरस्थ URL को क्वेरी नहीं करता है।
robots.txt प्रमाणीकरण, सुरक्षा, या डीइंडेक्सिंग कमांड नहीं है। सिम्युलेटर RFC 9309 का एक व्यावहारिक उपसमुच्चय लागू करता है और दूरस्थ URL को क्वेरी नहीं करता है।