Testuj reguły robots.txt dla Googlebota, GPTBota i innych agentów. Sprawdź regułę dopuszczającą lub blokującą ścieżkę i pobierz tekst z komentarzami i Sitemap.
Praktyczny przykład
01
Sprawdź zmiany przed opublikowaniem pliku robots.txt.
02
Wyjaśnij, dlaczego dana trasa jest dozwolona lub zablokowana.
03
Wykrywaj reguły spoza grupy i podstawowe sprzeczności.
Najbardziej szczegółowa reguła to allow: /private/public/.
Decyzja
ALLOW
Grupy reguł
1
Pasujące reguły
2
plik robots.txt jest przeznaczony dla robotów współpracujących; Nie uwierzytelnia, nie chroni treści i nie gwarantuje deindeksowania.
Sytuacja C · Dostęp zablokowany
Twoje dane
Zawartość pliku robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
Agent użytkownika
Googlebota
trasa lokalna
/page.htm
Wynik
Najbardziej szczegółowa reguła to disallow: /*.htm.
Decyzja
DISALLOW
Grupy reguł
1
Pasujące reguły
2
plik robots.txt jest przeznaczony dla robotów współpracujących; Nie uwierzytelnia, nie chroni treści i nie gwarantuje deindeksowania.
Sytuacja D · Dostęp zablokowany
Twoje dane
Zawartość pliku robots.txt
User-agent: *
Disallow: /café
Agent użytkownika
Googlebota
trasa lokalna
/caf%C3%A9
Wynik
Najbardziej szczegółowa reguła to disallow: /café.
Decyzja
DISALLOW
Grupy reguł
1
Pasujące reguły
1
plik robots.txt jest przeznaczony dla robotów współpracujących; Nie uwierzytelnia, nie chroni treści i nie gwarantuje deindeksowania.
plik robots.txt nie jest poleceniem uwierzytelniania, zabezpieczeń ani deindeksowania. Symulator implementuje praktyczny podzbiór RFC 9309 i nie wysyła zapytań do zdalnych adresów URL.
plik robots.txt nie jest poleceniem uwierzytelniania, zabezpieczeń ani deindeksowania. Symulator implementuje praktyczny podzbiór RFC 9309 i nie wysyła zapytań do zdalnych adresów URL.