方法
仕組み
- ユーザー エージェント グループと許可/禁止ルールを分離します。
- 最も具体的なグループを選択し、最長パスの一致を適用します。
- 適用ルールと警告を表示します。ダウンロードでは、コメント、Sitemap、改行を含む入力テキストを変更せず保持します。
01 · 入力データ
robots.txt を貼り付けてルートを試してください
ユーザー エージェント グループと許可/禁止ルールを分離します。
ファイルはローカルで読み取られます。
秘密を貼り付けないでください。 robots.txt は公開されています。
ネットワーク要求は行われません。
レコードは意図的に短く、バージョン管理されています。
02 · 結果
アクセス、勝利ルール、競合
計算準備完了アクセスがブロックされました
最も具体的なルールは disallow: /training/ です。
DISALLOW決定
3ルールのグループ
1一致するルール
- テスト対象の User-agent
- Google-Extended
- パス
- /training/private/report.html
- 判定に使われるルール
- disallow:/training/
- 競合
- 0
- robots.txt は協調的なクローラーをターゲットとしています。認証やコンテンツの保護は行わず、インデックスの解除も保証しません。
利用する場面
利用例
- robots.txt を公開する前に変更を監査します。
- ルートが許可またはブロックされる理由を説明します。
- グループ外のルールや基本的な矛盾を検出します。
制限
出典と範囲
robots.txt は、認証、セキュリティ、またはインデックス解除コマンドではありません。シミュレータは RFC 9309 の実用的なサブセットを実装しており、リモート URL をクエリしません。
プライバシー設計
プライバシー →データはこの端末に残ります
ブラウザ内で計算とファイル作成を行います。アカウント不要で、入力内容を Chapa Lab に送信しません。