방법
작동 원리
- 사용자-에이전트 그룹과 허용/허용 안 함 규칙을 구분합니다.
- 가장 구체적인 그룹을 선택하고 가장 긴 경로 일치를 적용합니다.
- 승리 규칙, 경고 및 다운로드 가능한 정규화된 robots.txt를 표시합니다.
robots.txt · 크롤러 시뮬레이터
CrawlerControl
각 봇이 크롤링할 수 있는 URL을 확인하고, 액세스를 결정하는 정확한 규칙을 알아보고, 게시하기 전에 수정된 robots.txt를 다운로드하세요.
충돌, 승리 규칙 및 정규화된 파일이 포함된 Googlebot, GPTBot 및 기타 크롤러용 무료 robots.txt 시뮬레이터입니다.
계정 없음현지 처리가시적인 가정
01 · 귀하의 의견
robots.txt를 붙여넣고 경로를 시도해 보세요.
가정을 편집하고 결과를 즉시 검토하세요.
파일을 로컬로 읽습니다.
비밀을 붙여넣지 마세요. robots.txt는 공개입니다.
네트워크 요청이 이루어지지 않습니다.
기록은 의도적으로 짧고 버전이 지정되어 있습니다.
02 · 결과
접근, 승리 규칙 및 충돌
로컬 계산 준비됨데이터로 결과가 업데이트되었습니다.
가시적인 데이터로 시나리오를 다시 계산했습니다. 결과를 사용하거나 다운로드하기 전에 측정항목, 세부정보, 한도를 검토하세요.
DISALLOW결정
3여러 떼
1우연의 일치
- 사용자 에이전트 테스트됨
- Google-Extended
- 로컬 경로
- /training/private/report.html
- 승리의 법칙
- disallow:/training/
- 충돌
- 1
- /에 충돌하는 허용/허용 안 함 규칙이 있습니다.
- robots.txt는 협동 크롤러를 대상으로 합니다. 인증하지 않고 콘텐츠를 보호하지 않으며 색인 해제를 보장하지 않습니다.
언제 사용하는가
사용 사례
- robots.txt를 게시하기 전에 변경사항을 감사하세요.
- 경로가 허용되거나 차단되는 이유를 설명하세요.
- 그룹 외부 규칙과 기본 모순을 감지합니다.
제한
출처와 범위
robots.txt는 인증, 보안 또는 색인 해제 명령이 아닙니다. 시뮬레이터는 RFC 9309의 실제 하위 집합을 구현하며 원격 URL을 쿼리하지 않습니다.
개인정보 보호 설계
은둔 →귀하의 데이터는 이 기기에 유지됩니다
이 도구는 브라우저에서 파일을 계산하고 생성합니다. 계정이 필요하지 않으며 입력 내용을 Chapa Lab으로 보내지 않습니다.