製品ガイド

利用例

Googlebot、GPTBot などの robots.txt ルールをブラウザで検証。パスを入力して、アクセスを許可または拒否するルール、適用グループ、競合の警告を確認できます。ダウンロードではコメント、Sitemap、改行を含む入力内容を保持します。検索結果への掲載を保証するものではありません。

実用例

01
robots.txt を公開する前に変更を監査します。
02
ルートが許可またはブロックされる理由を説明します。
03
グループ外のルールや基本的な矛盾を検出します。

実用例

状況 A · アクセスがブロックされました

入力データ

robot.txtの内容: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
ユーザーエージェント: グーグルボット
ローカルルート: /private/report.html

結果

最も具体的なルールは disallow: /private/ です。

決定: DISALLOW
ルールのグループ: 1
一致するルール: 1

robots.txt は協調的なクローラーをターゲットとしています。認証やコンテンツの保護は行わず、インデックスの解除も保証しません。

状況 B · アクセスが許可されました

入力データ

robot.txtの内容: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
ユーザーエージェント: グーグルボット
ローカルルート: /private/public/report.html

結果

最も具体的なルールは allow: /private/public/ です。

決定: ALLOW
ルールのグループ: 1
一致するルール: 2

robots.txt は協調的なクローラーをターゲットとしています。認証やコンテンツの保護は行わず、インデックスの解除も保証しません。

状況 C · アクセスがブロックされました

入力データ

robot.txtの内容: User-agent: * Allow: /page Disallow: /*.htm
ユーザーエージェント: グーグルボット
ローカルルート: /page.htm

結果

最も具体的なルールは disallow: /*.htm です。

決定: DISALLOW
ルールのグループ: 1
一致するルール: 2

robots.txt は協調的なクローラーをターゲットとしています。認証やコンテンツの保護は行わず、インデックスの解除も保証しません。

状況 D · アクセスがブロックされました

入力データ

robot.txtの内容: User-agent: * Disallow: /café
ユーザーエージェント: グーグルボット
ローカルルート: /caf%C3%A9

結果

最も具体的なルールは disallow: /café です。

決定: DISALLOW
ルールのグループ: 1
一致するルール: 1

robots.txt は協調的なクローラーをターゲットとしています。認証やコンテンツの保護は行わず、インデックスの解除も保証しません。

robots.txt は、認証、セキュリティ、またはインデックス解除コマンドではありません。シミュレータは RFC 9309 の実用的なサブセットを実装しており、リモート URL をクエリしません。

結果をダウンロード · JSON

責任ある範囲

出典と範囲

RFC 9309

ツールを試す