robots.txt सहकारी क्रॉलर को लक्षित करता है; यह प्रमाणित नहीं करता है, सामग्री की सुरक्षा नहीं करता है और डीइंडेक्सिंग की गारंटी नहीं देता है।
स्थिति C · प्रवेश अवरुद्ध
आपका डेटा
robots.txt की सामग्री
User-agent: *
Allow: /page
Disallow: /*.htm
उपयोगकर्ता-एजेंट
गूगलबॉट
स्थानीय मार्ग
/page.htm
परिणाम
सबसे विशिष्ट नियम है disallow: /*.htm.
निर्णय
DISALLOW
नियमों के समूह
1
मेल खाने वाले नियम
2
robots.txt सहकारी क्रॉलर को लक्षित करता है; यह प्रमाणित नहीं करता है, सामग्री की सुरक्षा नहीं करता है और डीइंडेक्सिंग की गारंटी नहीं देता है।
स्थिति D · प्रवेश अवरुद्ध
आपका डेटा
robots.txt की सामग्री
User-agent: *
Disallow: /café
उपयोगकर्ता-एजेंट
गूगलबॉट
स्थानीय मार्ग
/caf%C3%A9
परिणाम
सबसे विशिष्ट नियम है disallow: /café.
निर्णय
DISALLOW
नियमों के समूह
1
मेल खाने वाले नियम
1
robots.txt सहकारी क्रॉलर को लक्षित करता है; यह प्रमाणित नहीं करता है, सामग्री की सुरक्षा नहीं करता है और डीइंडेक्सिंग की गारंटी नहीं देता है।
robots.txt प्रमाणीकरण, सुरक्षा, या डीइंडेक्सिंग कमांड नहीं है। सिम्युलेटर RFC 9309 का एक व्यावहारिक उपसमुच्चय लागू करता है और दूरस्थ URL को क्वेरी नहीं करता है।
robots.txt प्रमाणीकरण, सुरक्षा, या डीइंडेक्सिंग कमांड नहीं है। सिम्युलेटर RFC 9309 का एक व्यावहारिक उपसमुच्चय लागू करता है और दूरस्थ URL को क्वेरी नहीं करता है।