robots.txt · tarayıcı simülatörü

CrawlerControl

Her botun hangi URL'leri tarayabileceğini kontrol edin, erişime karar veren kuralın tam olarak ne olduğunu öğrenin ve yayınlamadan önce düzeltilmiş bir robots.txt dosyası indirin.

Googlebot, GPTBot ve diğer tarayıcılar için çakışmalar, kazanma kuralı ve normalleştirilmiş dosya içeren ücretsiz robots.txt simülatörü.

Aracı deneyin Kullanım örnekleri

Hesap yokYerel işlemeGörünür varsayımlar

01 · Girişleriniz

robots.txt dosyanızı yapıştırın ve bir rota deneyin

Varsayımları düzenleyin ve sonucu anında inceleyin.

Robots.txt dosyasını yükleyinDosya yerel olarak okunur.

robots.txt içeriği

Sırları yapıştırmayın; robots.txt herkese açıktır.

yerel rota

Herhangi bir ağ isteği yapılmaz.

Kullanıcı aracısı

Kayıt kasıtlı olarak kısa ve versiyonludur.

02 · Sonuç

Erişim, kazanma kuralı ve çatışmalar

Yerel hesaplamaya hazır

Sonuç, verilerinizle güncellendi

Senaryo görünür verilerle yeniden hesaplandı. Sonucu kullanmadan veya indirmeden önce metrikleri, ayrıntıları ve sınırları inceleyin.

DISALLOWKarar

3Gruplar

1Tesadüfler

Kullanıcı aracısı test edildi: Google-Extended
yerel rota: /training/private/report.html
Kazanma kuralı: disallow:/training/
Çatışmalar: 1

googlebot

1.0

google-extended

2.0

exampleai

1.0

Şunda çakışan İzin Ver/İzin Verme kuralları var: /.
robots.txt işbirlikçi tarayıcıları hedefler; Kimlik doğrulaması yapmaz, içeriği korumaz ve indekslemeyi garanti etmez.

Yöntem

Nasıl çalışır?

Kullanıcı aracısı gruplarını ve İzin Ver/İzin Verme kurallarını ayırır.
En spesifik grubu seçin ve en uzun yol eşleşmesini uygulayın.
Kazanan kuralı, uyarıları ve indirilebilir normalleştirilmiş robots.txt dosyasını görüntüler.

Karar vermeden önce anlayın →

Ne zaman kullanılmalı?

Kullanım örnekleri

Robots.txt dosyasını yayınlamadan önce değişiklikleri denetleyin.
Bir rotaya neden izin verildiğini veya engellendiğini açıklayın.
Grup dışı kuralları ve temel çelişkileri tespit edin.

Pratik örnek →

Sınırlar

Kaynaklar ve kapsam

robots.txt kimlik doğrulama, güvenlik veya dizin kaldırma komutu değildir. Simülatör, RFC 9309'un pratik bir alt kümesini uygular ve uzak URL'leri sorgulamaz.

RFC 9309

Tasarım gereği gizlilik

Verileriniz bu cihazda kalır

Araç, tarayıcınızda dosyaları hesaplar ve oluşturur. Hiçbir hesaba ihtiyaç duymaz ve girişinizi Chapa Lab'a göndermez.

Mahremiyet →