귀하의 의견
robots.txt를 붙여넣고 경로를 시도해 보세요.
가정을 편집하고 결과를 즉시 검토하세요.
- robots.txt의 내용
- 비밀을 붙여넣지 마세요. robots.txt는 공개입니다.
- 로컬 경로
- 네트워크 요청이 이루어지지 않습니다.
- 사용자 에이전트
- 기록은 의도적으로 짧고 버전이 지정되어 있습니다.
제품 가이드
작동 원리
각 봇이 크롤링할 수 있는 URL을 확인하고, 액세스를 결정하는 정확한 규칙을 알아보고, 게시하기 전에 수정된 robots.txt를 다운로드하세요.
방법
- 01
사용자-에이전트 그룹과 허용/허용 안 함 규칙을 구분합니다.
- 02
가장 구체적인 그룹을 선택하고 가장 긴 경로 일치를 적용합니다.
- 03
승리 규칙, 경고 및 다운로드 가능한 정규화된 robots.txt를 표시합니다.
결과
접근, 승리 규칙 및 충돌
가시적인 데이터로 시나리오를 다시 계산했습니다. 결과를 사용하거나 다운로드하기 전에 측정항목, 세부정보, 한도를 검토하세요.
- 사용자 에이전트 테스트됨
- 로컬 경로
- 승리의 법칙
- 충돌
담당 범위
출처와 범위
robots.txt는 인증, 보안 또는 색인 해제 명령이 아닙니다. 시뮬레이터는 RFC 9309의 실제 하위 집합을 구현하며 원격 URL을 쿼리하지 않습니다.