Her botun hangi URL'leri tarayabileceğini kontrol edin, erişime karar veren kuralın tam olarak ne olduğunu öğrenin ve yayınlamadan önce düzeltilmiş bir robots.txt dosyası indirin.
Yöntem
Kullanıcı aracısı gruplarını ve İzin Ver/İzin Verme kurallarını ayırır.
En spesifik grubu seçin ve en uzun yol eşleşmesini uygulayın.
Kazanan kuralı, uyarıları ve indirilebilir normalleştirilmiş robots.txt dosyasını görüntüler.
Girişleriniz
Varsayımları düzenleyin ve sonucu anında inceleyin.
Sonuç
Senaryo görünür verilerle yeniden hesaplandı. Sonucu kullanmadan veya indirmeden önce metrikleri, ayrıntıları ve sınırları inceleyin.
Sorumlu kapsam
robots.txt kimlik doğrulama, güvenlik veya dizin kaldırma komutu değildir. Simülatör, RFC 9309'un pratik bir alt kümesini uygular ve uzak URL'leri sorgulamaz.