Ürün kılavuzu

Nasıl çalışır?

Her botun hangi URL'leri tarayabileceğini kontrol edin, erişime karar veren kuralın tam olarak ne olduğunu öğrenin ve yayınlamadan önce düzeltilmiş bir robots.txt dosyası indirin.

Yöntem

01
Kullanıcı aracısı gruplarını ve İzin Ver/İzin Verme kurallarını ayırır.
02
En spesifik grubu seçin ve en uzun yol eşleşmesini uygulayın.
03
Uygulanan kuralı ve uyarıları gösterir. İndirme, yorumlar, Sitemap ve satır sonları dahil girilen metni korur.

Pratik örnek

Durum A · Erişim engellendi

Girişleriniz

robots.txt içeriği: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
Kullanıcı aracısı: Googlebot
yerel rota: /private/report.html

Sonuç

En spesifik kural şudur: disallow: /private/.

Karar: DISALLOW
Kural grupları: 1
Eşleşen kurallar: 1

robots.txt işbirlikçi tarayıcıları hedefler; Kimlik doğrulaması yapmaz, içeriği korumaz ve indekslemeyi garanti etmez.

Durum B · Erişime izin verildi

Girişleriniz

robots.txt içeriği: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
Kullanıcı aracısı: Googlebot
yerel rota: /private/public/report.html

Sonuç

En spesifik kural şudur: allow: /private/public/.

Karar: ALLOW
Kural grupları: 1
Eşleşen kurallar: 2

robots.txt işbirlikçi tarayıcıları hedefler; Kimlik doğrulaması yapmaz, içeriği korumaz ve indekslemeyi garanti etmez.

Durum C · Erişim engellendi

Girişleriniz

robots.txt içeriği: User-agent: * Allow: /page Disallow: /*.htm
Kullanıcı aracısı: Googlebot
yerel rota: /page.htm

Sonuç

En spesifik kural şudur: disallow: /*.htm.

Karar: DISALLOW
Kural grupları: 1
Eşleşen kurallar: 2

robots.txt işbirlikçi tarayıcıları hedefler; Kimlik doğrulaması yapmaz, içeriği korumaz ve indekslemeyi garanti etmez.

Durum D · Erişim engellendi

Girişleriniz

robots.txt içeriği: User-agent: * Disallow: /café
Kullanıcı aracısı: Googlebot
yerel rota: /caf%C3%A9

Sonuç

En spesifik kural şudur: disallow: /café.

Karar: DISALLOW
Kural grupları: 1
Eşleşen kurallar: 1

robots.txt işbirlikçi tarayıcıları hedefler; Kimlik doğrulaması yapmaz, içeriği korumaz ve indekslemeyi garanti etmez.

robots.txt kimlik doğrulama, güvenlik veya dizin kaldırma komutu değildir. Simülatör, RFC 9309'un pratik bir alt kümesini uygular ve uzak URL'leri sorgulamaz.

Sonucu indir · JSON

Sorumlu kapsam

Kaynaklar ve kapsam

robots.txt kimlik doğrulama, güvenlik veya dizin kaldırma komutu değildir. Simülatör, RFC 9309'un pratik bir alt kümesini uygular ve uzak URL'leri sorgulamaz.

RFC 9309

Aracı deneyin