방법
- 01
사용자-에이전트 그룹과 허용/허용 안 함 규칙을 구분합니다.
- 02
가장 구체적인 그룹을 선택하고 가장 긴 경로 일치를 적용합니다.
- 03
적용된 규칙과 경고를 표시합니다. 다운로드는 주석, Sitemap, 줄바꿈을 포함한 입력 텍스트를 그대로 보존합니다.
실제 사례
상황 A · 액세스가 차단되었습니다.
귀하의 의견
- robots.txt의 내용
- User-agent: *
Disallow: /private/
Allow: /private/public/
Sitemap: https://example.test/sitemap.xml
- 사용자 에이전트
- 구글봇
- 로컬 경로
- /private/report.html
결과
가장 구체적인 규칙은 disallow: /private/입니다.
- 결정
- DISALLOW
- 규칙 그룹
- 1
- 일치하는 규칙
- 1
- robots.txt는 협동 크롤러를 대상으로 합니다. 인증하지 않고 콘텐츠를 보호하지 않으며 색인 해제를 보장하지 않습니다.
상황 B · 액세스가 허용되었습니다.
귀하의 의견
- robots.txt의 내용
- User-agent: *
Disallow: /private/
Allow: /private/public/
Sitemap: https://example.test/sitemap.xml
- 사용자 에이전트
- 구글봇
- 로컬 경로
- /private/public/report.html
결과
가장 구체적인 규칙은 allow: /private/public/입니다.
- 결정
- ALLOW
- 규칙 그룹
- 1
- 일치하는 규칙
- 2
- robots.txt는 협동 크롤러를 대상으로 합니다. 인증하지 않고 콘텐츠를 보호하지 않으며 색인 해제를 보장하지 않습니다.
상황 C · 액세스가 차단되었습니다.
귀하의 의견
- robots.txt의 내용
- User-agent: *
Allow: /page
Disallow: /*.htm
- 사용자 에이전트
- 구글봇
- 로컬 경로
- /page.htm
결과
가장 구체적인 규칙은 disallow: /*.htm입니다.
- 결정
- DISALLOW
- 규칙 그룹
- 1
- 일치하는 규칙
- 2
- robots.txt는 협동 크롤러를 대상으로 합니다. 인증하지 않고 콘텐츠를 보호하지 않으며 색인 해제를 보장하지 않습니다.
상황 D · 액세스가 차단되었습니다.
귀하의 의견
- robots.txt의 내용
- User-agent: *
Disallow: /café
- 사용자 에이전트
- 구글봇
- 로컬 경로
- /caf%C3%A9
결과
가장 구체적인 규칙은 disallow: /café입니다.
- 결정
- DISALLOW
- 규칙 그룹
- 1
- 일치하는 규칙
- 1
- robots.txt는 협동 크롤러를 대상으로 합니다. 인증하지 않고 콘텐츠를 보호하지 않으며 색인 해제를 보장하지 않습니다.
robots.txt는 인증, 보안 또는 색인 해제 명령이 아닙니다. 시뮬레이터는 RFC 9309의 실제 하위 집합을 구현하며 원격 URL을 쿼리하지 않습니다.
결과 다운로드 · JSON담당 범위
출처와 범위
robots.txt는 인증, 보안 또는 색인 해제 명령이 아닙니다. 시뮬레이터는 RFC 9309의 실제 하위 집합을 구현하며 원격 URL을 쿼리하지 않습니다.
도구를 사용해 보세요