방법
작동 원리
- 사용자-에이전트 그룹과 허용/허용 안 함 규칙을 구분합니다.
- 가장 구체적인 그룹을 선택하고 가장 긴 경로 일치를 적용합니다.
- 적용된 규칙과 경고를 표시합니다. 다운로드는 주석, Sitemap, 줄바꿈을 포함한 입력 텍스트를 그대로 보존합니다.
robots.txt · 크롤러 시뮬레이터
CrawlerControl
각 봇이 크롤링할 수 있는 URL을 확인하고, 액세스를 결정하는 정확한 규칙을 알아보고, 게시하기 전에 수정된 robots.txt를 다운로드하세요.
브라우저에서 Googlebot, GPTBot 등 크롤러의 robots.txt 규칙을 시험하세요. 경로를 입력하면 허용하거나 차단하는 규칙과 적용 그룹, 충돌 경고를 확인합니다. 다운로드 시 텍스트와 주석, Sitemap, 줄바꿈을 그대로 보존합니다. 검색엔진 등록을 보장하지 않습니다.
계정 없음현지 처리가시적인 가정
01 · 귀하의 의견
robots.txt를 붙여넣고 경로를 시도해 보세요.
사용자-에이전트 그룹과 허용/허용 안 함 규칙을 구분합니다.
파일을 로컬로 읽습니다.
비밀을 붙여넣지 마세요. robots.txt는 공개입니다.
네트워크 요청이 이루어지지 않습니다.
기록은 의도적으로 짧고 버전이 지정되어 있습니다.
02 · 결과
접근, 승리 규칙 및 충돌
계산 준비 완료액세스가 차단되었습니다.
가장 구체적인 규칙은 disallow: /training/입니다.
DISALLOW결정
3규칙 그룹
1일치하는 규칙
- 테스트한 User-agent
- Google-Extended
- 경로
- /training/private/report.html
- 판정에 적용되는 규칙
- disallow:/training/
- 충돌
- 0
- robots.txt는 협동 크롤러를 대상으로 합니다. 인증하지 않고 콘텐츠를 보호하지 않으며 색인 해제를 보장하지 않습니다.
언제 사용하는가
사용 사례
- robots.txt를 게시하기 전에 변경사항을 감사하세요.
- 경로가 허용되거나 차단되는 이유를 설명하세요.
- 그룹 외부 규칙과 기본 모순을 감지합니다.
제한
출처와 범위
robots.txt는 인증, 보안 또는 색인 해제 명령이 아닙니다. 시뮬레이터는 RFC 9309의 실제 하위 집합을 구현하며 원격 URL을 쿼리하지 않습니다.
개인정보 보호 설계
은둔 →귀하의 데이터는 이 기기에 유지됩니다
이 도구는 브라우저에서 파일을 계산하고 생성합니다. 계정이 필요하지 않으며 입력 내용을 Chapa Lab으로 보내지 않습니다.