제품 가이드

사용 사례

브라우저에서 Googlebot, GPTBot 등 크롤러의 robots.txt 규칙을 시험하세요. 경로를 입력하면 허용하거나 차단하는 규칙과 적용 그룹, 충돌 경고를 확인합니다. 다운로드 시 텍스트와 주석, Sitemap, 줄바꿈을 그대로 보존합니다. 검색엔진 등록을 보장하지 않습니다.

실제 사례

01
robots.txt를 게시하기 전에 변경사항을 감사하세요.
02
경로가 허용되거나 차단되는 이유를 설명하세요.
03
그룹 외부 규칙과 기본 모순을 감지합니다.

실제 사례

상황 A · 액세스가 차단되었습니다.

귀하의 의견

robots.txt의 내용: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
사용자 에이전트: 구글봇
로컬 경로: /private/report.html

결과

가장 구체적인 규칙은 disallow: /private/입니다.

결정: DISALLOW
규칙 그룹: 1
일치하는 규칙: 1

robots.txt는 협동 크롤러를 대상으로 합니다. 인증하지 않고 콘텐츠를 보호하지 않으며 색인 해제를 보장하지 않습니다.

상황 B · 액세스가 허용되었습니다.

귀하의 의견

robots.txt의 내용: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
사용자 에이전트: 구글봇
로컬 경로: /private/public/report.html

결과

가장 구체적인 규칙은 allow: /private/public/입니다.

결정: ALLOW
규칙 그룹: 1
일치하는 규칙: 2

robots.txt는 협동 크롤러를 대상으로 합니다. 인증하지 않고 콘텐츠를 보호하지 않으며 색인 해제를 보장하지 않습니다.

상황 C · 액세스가 차단되었습니다.

귀하의 의견

robots.txt의 내용: User-agent: * Allow: /page Disallow: /*.htm
사용자 에이전트: 구글봇
로컬 경로: /page.htm

결과

가장 구체적인 규칙은 disallow: /*.htm입니다.

결정: DISALLOW
규칙 그룹: 1
일치하는 규칙: 2

robots.txt는 협동 크롤러를 대상으로 합니다. 인증하지 않고 콘텐츠를 보호하지 않으며 색인 해제를 보장하지 않습니다.

상황 D · 액세스가 차단되었습니다.

귀하의 의견

robots.txt의 내용: User-agent: * Disallow: /café
사용자 에이전트: 구글봇
로컬 경로: /caf%C3%A9

결과

가장 구체적인 규칙은 disallow: /café입니다.

결정: DISALLOW
규칙 그룹: 1
일치하는 규칙: 1

robots.txt는 협동 크롤러를 대상으로 합니다. 인증하지 않고 콘텐츠를 보호하지 않으며 색인 해제를 보장하지 않습니다.

robots.txt는 인증, 보안 또는 색인 해제 명령이 아닙니다. 시뮬레이터는 RFC 9309의 실제 하위 집합을 구현하며 원격 URL을 쿼리하지 않습니다.

결과 다운로드 · JSON

담당 범위

출처와 범위

robots.txt는 인증, 보안 또는 색인 해제 명령이 아닙니다. 시뮬레이터는 RFC 9309의 실제 하위 집합을 구현하며 원격 URL을 쿼리하지 않습니다.

RFC 9309

도구를 사용해 보세요