Ürün kılavuzu

Kullanım örnekleri

Googlebot, GPTBot ve diğer botlar için robots.txt kurallarını test edin. Yola izin veren veya engelleyen kuralı görün; yorumları ve Sitemap bilgisini koruyarak indirin.

Pratik örnek

01
Robots.txt dosyasını yayınlamadan önce değişiklikleri denetleyin.
02
Bir rotaya neden izin verildiğini veya engellendiğini açıklayın.
03
Grup dışı kuralları ve temel çelişkileri tespit edin.

Pratik örnek

Durum A · Erişim engellendi

Girişleriniz

robots.txt içeriği: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
Kullanıcı aracısı: Googlebot
yerel rota: /private/report.html

Sonuç

En spesifik kural şudur: disallow: /private/.

Karar: DISALLOW
Kural grupları: 1
Eşleşen kurallar: 1

robots.txt işbirlikçi tarayıcıları hedefler; Kimlik doğrulaması yapmaz, içeriği korumaz ve indekslemeyi garanti etmez.

Durum B · Erişime izin verildi

Girişleriniz

robots.txt içeriği: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
Kullanıcı aracısı: Googlebot
yerel rota: /private/public/report.html

Sonuç

En spesifik kural şudur: allow: /private/public/.

Karar: ALLOW
Kural grupları: 1
Eşleşen kurallar: 2

robots.txt işbirlikçi tarayıcıları hedefler; Kimlik doğrulaması yapmaz, içeriği korumaz ve indekslemeyi garanti etmez.

Durum C · Erişim engellendi

Girişleriniz

robots.txt içeriği: User-agent: * Allow: /page Disallow: /*.htm
Kullanıcı aracısı: Googlebot
yerel rota: /page.htm

Sonuç

En spesifik kural şudur: disallow: /*.htm.

Karar: DISALLOW
Kural grupları: 1
Eşleşen kurallar: 2

robots.txt işbirlikçi tarayıcıları hedefler; Kimlik doğrulaması yapmaz, içeriği korumaz ve indekslemeyi garanti etmez.

Durum D · Erişim engellendi

Girişleriniz

robots.txt içeriği: User-agent: * Disallow: /café
Kullanıcı aracısı: Googlebot
yerel rota: /caf%C3%A9

Sonuç

En spesifik kural şudur: disallow: /café.

Karar: DISALLOW
Kural grupları: 1
Eşleşen kurallar: 1

robots.txt işbirlikçi tarayıcıları hedefler; Kimlik doğrulaması yapmaz, içeriği korumaz ve indekslemeyi garanti etmez.

robots.txt kimlik doğrulama, güvenlik veya dizin kaldırma komutu değildir. Simülatör, RFC 9309'un pratik bir alt kümesini uygular ve uzak URL'leri sorgulamaz.

Sonucu indir · JSON

Sorumlu kapsam

Kaynaklar ve kapsam

robots.txt kimlik doğrulama, güvenlik veya dizin kaldırma komutu değildir. Simülatör, RFC 9309'un pratik bir alt kümesini uygular ve uzak URL'leri sorgulamaz.

RFC 9309

Aracı deneyin