Sprawdź, które adresy URL może indeksować każdy bot, poznaj dokładną regułę decydującą o dostępie i pobierz poprawiony plik robots.txt przed publikacją.
Metoda
01
Oddziela grupy agentów użytkownika i reguły Zezwalaj/Zabraniaj.
02
Wybierz najbardziej konkretną grupę i zastosuj dopasowanie najdłuższej ścieżki.
03
Pokazuje zastosowaną regułę i ostrzeżenia. Pobierany plik zachowuje wpisany tekst, w tym komentarze, Sitemap i znaki końca wiersza.
Najbardziej szczegółowa reguła to allow: /private/public/.
Decyzja
ALLOW
Grupy reguł
1
Pasujące reguły
2
plik robots.txt jest przeznaczony dla robotów współpracujących; Nie uwierzytelnia, nie chroni treści i nie gwarantuje deindeksowania.
Sytuacja C · Dostęp zablokowany
Twoje dane
Zawartość pliku robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
Agent użytkownika
Googlebota
trasa lokalna
/page.htm
Wynik
Najbardziej szczegółowa reguła to disallow: /*.htm.
Decyzja
DISALLOW
Grupy reguł
1
Pasujące reguły
2
plik robots.txt jest przeznaczony dla robotów współpracujących; Nie uwierzytelnia, nie chroni treści i nie gwarantuje deindeksowania.
Sytuacja D · Dostęp zablokowany
Twoje dane
Zawartość pliku robots.txt
User-agent: *
Disallow: /café
Agent użytkownika
Googlebota
trasa lokalna
/caf%C3%A9
Wynik
Najbardziej szczegółowa reguła to disallow: /café.
Decyzja
DISALLOW
Grupy reguł
1
Pasujące reguły
1
plik robots.txt jest przeznaczony dla robotów współpracujących; Nie uwierzytelnia, nie chroni treści i nie gwarantuje deindeksowania.
plik robots.txt nie jest poleceniem uwierzytelniania, zabezpieczeń ani deindeksowania. Symulator implementuje praktyczny podzbiór RFC 9309 i nie wysyła zapytań do zdalnych adresów URL.
plik robots.txt nie jest poleceniem uwierzytelniania, zabezpieczeń ani deindeksowania. Symulator implementuje praktyczny podzbiór RFC 9309 i nie wysyła zapytań do zdalnych adresów URL.