Sprawdź, które adresy URL może indeksować każdy bot, poznaj dokładną regułę decydującą o dostępie i pobierz poprawiony plik robots.txt przed publikacją.
Metoda
Oddziela grupy agentów użytkownika i reguły Zezwalaj/Zabraniaj.
Wybierz najbardziej konkretną grupę i zastosuj dopasowanie najdłuższej ścieżki.
Wyświetla zwycięską regułę, ostrzeżenia i znormalizowany plik robots.txt do pobrania.
Twoje dane
Edytuj założenia i od razu sprawdź wynik.
Wynik
Scenariusz został przeliczony na podstawie widocznych danych. Przed użyciem lub pobraniem wyniku przejrzyj metryki, szczegóły i limity.
Odpowiedzialny zakres
plik robots.txt nie jest poleceniem uwierzytelniania, zabezpieczeń ani deindeksowania. Symulator implementuje praktyczny podzbiór RFC 9309 i nie wysyła zapytań do zdalnych adresów URL.