CrawlerControl
robots.txt · symulator robota

CrawlerControl

Sprawdź, które adresy URL może indeksować każdy bot, poznaj dokładną regułę decydującą o dostępie i pobierz poprawiony plik robots.txt przed publikacją.

Testuj reguły robots.txt dla Googlebota, GPTBota i innych agentów. Sprawdź regułę dopuszczającą lub blokującą ścieżkę i pobierz tekst z komentarzami i Sitemap.

Wypróbuj narzędzieZastosowania
Bez kontaPrzetwarzanie lokalneWidoczne założenia

01 · Twoje dane

Wklej plik robots.txt i wypróbuj trasę

Oddziela grupy agentów użytkownika i reguły Zezwalaj/Zabraniaj.

Plik jest odczytywany lokalnie.
Nie wklejaj tajemnic; plik robots.txt jest publiczny.
Nie wykonano żadnego żądania sieciowego.
Zapis jest celowo krótki i wersjonowany.

02 · Wynik

Dostęp, zwycięska reguła i konflikty

Obliczenia gotowe

Dostęp zablokowany

Najbardziej szczegółowa reguła to disallow: /training/.

DISALLOWDecyzja
3Grupy reguł
1Pasujące reguły
Sprawdzany User-agent
Google-Extended
Ścieżka
/training/private/report.html
Reguła rozstrzygająca
disallow:/training/
Konflikty
0
  • plik robots.txt jest przeznaczony dla robotów współpracujących; Nie uwierzytelnia, nie chroni treści i nie gwarantuje deindeksowania.

Metoda

Jak to działa

  1. Oddziela grupy agentów użytkownika i reguły Zezwalaj/Zabraniaj.
  2. Wybierz najbardziej konkretną grupę i zastosuj dopasowanie najdłuższej ścieżki.
  3. Pokazuje zastosowaną regułę i ostrzeżenia. Pobierany plik zachowuje wpisany tekst, w tym komentarze, Sitemap i znaki końca wiersza.
Zrozumieć przed decyzją →

Kiedy używać

Zastosowania

  • Sprawdź zmiany przed opublikowaniem pliku robots.txt.
  • Wyjaśnij, dlaczego dana trasa jest dozwolona lub zablokowana.
  • Wykrywaj reguły spoza grupy i podstawowe sprzeczności.
Praktyczny przykład →

Ograniczenia

Źródła i zakres

plik robots.txt nie jest poleceniem uwierzytelniania, zabezpieczeń ani deindeksowania. Symulator implementuje praktyczny podzbiór RFC 9309 i nie wysyła zapytań do zdalnych adresów URL.

RFC 9309
Prywatność od podstaw

Twoje dane pozostają na tym urządzeniu

Narzędzie oblicza i tworzy pliki w przeglądarce. Nie wymaga konta ani nie wysyła danych do Chapa Lab.

Prywatność →