入力データ
robots.txt を貼り付けてルートを試してください
前提を編集して結果をすぐ確認できます。
- robot.txtの内容
- 秘密を貼り付けないでください。 robots.txt は公開されています。
- ローカルルート
- ネットワーク要求は行われません。
- ユーザーエージェント
- レコードは意図的に短く、バージョン管理されています。
製品ガイド
仕組み
各ボットがクロールできる URL を確認し、アクセスを決定する正確なルールを見つけて、公開する前に修正された robots.txt をダウンロードします。
方法
- 01
ユーザー エージェント グループと許可/禁止ルールを分離します。
- 02
最も具体的なグループを選択し、最長パスの一致を適用します。
- 03
勝利ルール、警告、およびダウンロード可能な正規化された robots.txt を表示します。
結果
アクセス、勝利ルール、競合
シナリオは、表示されたデータを使用して再計算されました。結果を使用またはダウンロードする前に、メトリクス、詳細、および制限を確認してください。
- ユーザーエージェントのテスト済み
- ローカルルート
- 勝利の法則
- 紛争
責任ある範囲
出典と範囲
robots.txt は、認証、セキュリティ、またはインデックス解除コマンドではありません。シミュレータは RFC 9309 の実用的なサブセットを実装しており、リモート URL をクエリしません。