Robots.txt dosyasını yayınlamadan önce değişiklikleri denetleyin.
- Ne yaptın
- Kullanıcı aracısı gruplarını ve İzin Ver/İzin Verme kurallarını ayırır.
- Ne elde edeceksin
- Kullanıcı aracısı test edildi
Ürün kılavuzu
Kullanım örnekleri
Googlebot, GPTBot ve diğer tarayıcılar için çakışmalar, kazanma kuralı ve normalleştirilmiş dosya içeren ücretsiz robots.txt simülatörü.
Pratik örnek
- 01
Robots.txt dosyasını yayınlamadan önce değişiklikleri denetleyin.
- 02
Bir rotaya neden izin verildiğini veya engellendiğini açıklayın.
- 03
Grup dışı kuralları ve temel çelişkileri tespit edin.
Bir rotaya neden izin verildiğini veya engellendiğini açıklayın.
- Ne yaptın
- En spesifik grubu seçin ve en uzun yol eşleşmesini uygulayın.
- Ne elde edeceksin
- yerel rota
Grup dışı kuralları ve temel çelişkileri tespit edin.
- Ne yaptın
- Kazanan kuralı, uyarıları ve indirilebilir normalleştirilmiş robots.txt dosyasını görüntüler.
- Ne elde edeceksin
- Kazanma kuralı
Sorumlu kapsam
Kaynaklar ve kapsam
robots.txt kimlik doğrulama, güvenlik veya dizin kaldırma komutu değildir. Simülatör, RFC 9309'un pratik bir alt kümesini uygular ve uzak URL'leri sorgulamaz.