CrawlerControl
robots.txt · symulator robota

CrawlerControl

Sprawdź, które adresy URL może indeksować każdy bot, poznaj dokładną regułę decydującą o dostępie i pobierz poprawiony plik robots.txt przed publikacją.

Darmowy symulator pliku robots.txt dla Googlebota, GPTBota i innych robotów, z konfliktami, regułą wygrywającą i znormalizowanym plikiem.

Wypróbuj narzędzieZastosowania
Bez kontaPrzetwarzanie lokalneWidoczne założenia

01 · Twoje dane

Wklej plik robots.txt i wypróbuj trasę

Edytuj założenia i od razu sprawdź wynik.

Plik jest odczytywany lokalnie.
Nie wklejaj tajemnic; plik robots.txt jest publiczny.
Nie wykonano żadnego żądania sieciowego.
Zapis jest celowo krótki i wersjonowany.

02 · Wynik

Dostęp, zwycięska reguła i konflikty

Obliczenie lokalne gotowe

Wynik zaktualizowany o Twoje dane

Scenariusz został przeliczony na podstawie widocznych danych. Przed użyciem lub pobraniem wyniku przejrzyj metryki, szczegóły i limity.

DISALLOWDecyzja
3Grupy
1Zbiegi okoliczności
Przetestowano agenta użytkownika
Google-Extended
trasa lokalna
/training/private/report.html
Zwycięska zasada
disallow:/training/
Konflikty
1
  • Istnieją sprzeczne reguły Zezwalaj/Zabraniaj w: /.
  • plik robots.txt jest przeznaczony dla robotów współpracujących; Nie uwierzytelnia, nie chroni treści i nie gwarantuje deindeksowania.

Metoda

Jak to działa

  1. Oddziela grupy agentów użytkownika i reguły Zezwalaj/Zabraniaj.
  2. Wybierz najbardziej konkretną grupę i zastosuj dopasowanie najdłuższej ścieżki.
  3. Wyświetla zwycięską regułę, ostrzeżenia i znormalizowany plik robots.txt do pobrania.
Zrozumieć przed decyzją →

Kiedy używać

Zastosowania

  • Sprawdź zmiany przed opublikowaniem pliku robots.txt.
  • Wyjaśnij, dlaczego dana trasa jest dozwolona lub zablokowana.
  • Wykrywaj reguły spoza grupy i podstawowe sprzeczności.
Praktyczny przykład →

Ograniczenia

Źródła i zakres

plik robots.txt nie jest poleceniem uwierzytelniania, zabezpieczeń ani deindeksowania. Symulator implementuje praktyczny podzbiór RFC 9309 i nie wysyła zapytań do zdalnych adresów URL.

RFC 9309
Prywatność od podstaw

Twoje dane pozostają na tym urządzeniu

Narzędzie oblicza i tworzy pliki w przeglądarce. Nie wymaga konta ani nie wysyła danych do Chapa Lab.

Prywatność →