方法
仕組み
- ユーザー エージェント グループと許可/禁止ルールを分離します。
- 最も具体的なグループを選択し、最長パスの一致を適用します。
- 勝利ルール、警告、およびダウンロード可能な正規化された robots.txt を表示します。
01 · 入力データ
robots.txt を貼り付けてルートを試してください
前提を編集して結果をすぐ確認できます。
ファイルはローカルで読み取られます。
秘密を貼り付けないでください。 robots.txt は公開されています。
ネットワーク要求は行われません。
レコードは意図的に短く、バージョン管理されています。
02 · 結果
アクセス、勝利ルール、競合
ローカル計算完了結果がデータで更新されました
シナリオは、表示されたデータを使用して再計算されました。結果を使用またはダウンロードする前に、メトリクス、詳細、および制限を確認してください。
DISALLOW決定
3グループ
1偶然の一致
- ユーザーエージェントのテスト済み
- Google-Extended
- ローカルルート
- /training/private/report.html
- 勝利の法則
- disallow:/training/
- 紛争
- 1
- / に競合する許可/禁止ルールがあります。
- robots.txt は協調的なクローラーをターゲットとしています。認証やコンテンツの保護は行わず、インデックスの解除も保証しません。
利用する場面
利用例
- robots.txt を公開する前に変更を監査します。
- ルートが許可またはブロックされる理由を説明します。
- グループ外のルールや基本的な矛盾を検出します。
制限
出典と範囲
robots.txt は、認証、セキュリティ、またはインデックス解除コマンドではありません。シミュレータは RFC 9309 の実用的なサブセットを実装しており、リモート URL をクエリしません。
プライバシー設計
プライバシー →データはこの端末に残ります
ブラウザ内で計算とファイル作成を行います。アカウント不要で、入力内容を Chapa Lab に送信しません。