CrawlerControl
robots.txt · tarayıcı simülatörü

CrawlerControl

Her botun hangi URL'leri tarayabileceğini kontrol edin, erişime karar veren kuralın tam olarak ne olduğunu öğrenin ve yayınlamadan önce düzeltilmiş bir robots.txt dosyası indirin.

Googlebot, GPTBot ve diğer botlar için robots.txt kurallarını test edin. Yola izin veren veya engelleyen kuralı görün; yorumları ve Sitemap bilgisini koruyarak indirin.

Aracı deneyinKullanım örnekleri
Hesap yokYerel işlemeGörünür varsayımlar

01 · Girişleriniz

robots.txt dosyanızı yapıştırın ve bir rota deneyin

Kullanıcı aracısı gruplarını ve İzin Ver/İzin Verme kurallarını ayırır.

Dosya yerel olarak okunur.
Sırları yapıştırmayın; robots.txt herkese açıktır.
Herhangi bir ağ isteği yapılmaz.
Kayıt kasıtlı olarak kısa ve versiyonludur.

02 · Sonuç

Erişim, kazanma kuralı ve çatışmalar

Hesaplamaya hazır

Erişim engellendi

En spesifik kural şudur: disallow: /training/.

DISALLOWKarar
3Kural grupları
1Eşleşen kurallar
Test edilen User-agent
Google-Extended
Yol
/training/private/report.html
Belirleyici kural
disallow:/training/
Çakışmalar
0
  • robots.txt işbirlikçi tarayıcıları hedefler; Kimlik doğrulaması yapmaz, içeriği korumaz ve indekslemeyi garanti etmez.

Yöntem

Nasıl çalışır?

  1. Kullanıcı aracısı gruplarını ve İzin Ver/İzin Verme kurallarını ayırır.
  2. En spesifik grubu seçin ve en uzun yol eşleşmesini uygulayın.
  3. Uygulanan kuralı ve uyarıları gösterir. İndirme, yorumlar, Sitemap ve satır sonları dahil girilen metni korur.
Karar vermeden önce anlayın →

Ne zaman kullanılmalı?

Kullanım örnekleri

  • Robots.txt dosyasını yayınlamadan önce değişiklikleri denetleyin.
  • Bir rotaya neden izin verildiğini veya engellendiğini açıklayın.
  • Grup dışı kuralları ve temel çelişkileri tespit edin.
Pratik örnek →

Sınırlar

Kaynaklar ve kapsam

robots.txt kimlik doğrulama, güvenlik veya dizin kaldırma komutu değildir. Simülatör, RFC 9309'un pratik bir alt kümesini uygular ve uzak URL'leri sorgulamaz.

RFC 9309
Tasarım gereği gizlilik

Verileriniz bu cihazda kalır

Araç, tarayıcınızda dosyaları hesaplar ve oluşturur. Hiçbir hesaba ihtiyaç duymaz ve girişinizi Chapa Lab'a göndermez.

Mahremiyet →