製品ガイド

仕組み

各ボットがクロールできる URL を確認し、アクセスを決定する正確なルールを見つけて、公開する前に修正された robots.txt をダウンロードします。

方法

01
ユーザーエージェントグループと許可/禁止ルールを分離します。
02
最も具体的なグループを選択し、最長パスの一致を適用します。
03
適用ルールと警告を表示します。ダウンロードでは、コメント、Sitemap、改行を含む入力テキストを変更せず保持します。

実用例

状況 A · アクセスがブロックされました

入力データ

robot.txtの内容: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
ユーザーエージェント: グーグルボット
ローカルルート: /private/report.html

結果

最も具体的なルールは disallow: /private/ です。

決定: DISALLOW
ルールのグループ: 1
一致するルール: 1

robots.txt は協調的なクローラーをターゲットとしています。認証やコンテンツの保護は行わず、インデックスの解除も保証しません。

状況 B · アクセスが許可されました

入力データ

robot.txtの内容: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
ユーザーエージェント: グーグルボット
ローカルルート: /private/public/report.html

結果

最も具体的なルールは allow: /private/public/ です。

決定: ALLOW
ルールのグループ: 1
一致するルール: 2

robots.txt は協調的なクローラーをターゲットとしています。認証やコンテンツの保護は行わず、インデックスの解除も保証しません。

状況 C · アクセスがブロックされました

入力データ

robot.txtの内容: User-agent: * Allow: /page Disallow: /*.htm
ユーザーエージェント: グーグルボット
ローカルルート: /page.htm

結果

最も具体的なルールは disallow: /*.htm です。

決定: DISALLOW
ルールのグループ: 1
一致するルール: 2

robots.txt は協調的なクローラーをターゲットとしています。認証やコンテンツの保護は行わず、インデックスの解除も保証しません。

状況 D · アクセスがブロックされました

入力データ

robot.txtの内容: User-agent: * Disallow: /café
ユーザーエージェント: グーグルボット
ローカルルート: /caf%C3%A9

結果

最も具体的なルールは disallow: /café です。

決定: DISALLOW
ルールのグループ: 1
一致するルール: 1

robots.txt は協調的なクローラーをターゲットとしています。認証やコンテンツの保護は行わず、インデックスの解除も保証しません。

robots.txt は、認証、セキュリティ、またはインデックス解除コマンドではありません。シミュレータは RFC 9309 の実用的なサブセットを実装しており、リモート URL をクエリしません。

結果をダウンロード · JSON

責任ある範囲

出典と範囲

robots.txt は、認証、セキュリティ、またはインデックス解除コマンドではありません。シミュレータは RFC 9309 の実用的なサブセットを実装しており、リモート URL をクエリしません。

ツールを試す