robots.txt を公開する前に変更を監査します。
- 操作
- ユーザー エージェント グループと許可/禁止ルールを分離します。
- 得られるもの
- ユーザーエージェントのテスト済み
製品ガイド
利用例
Googlebot、GPTBot、その他のクローラー用の無料の robots.txt シミュレーター。競合、勝利ルール、正規化されたファイルが含まれます。
実用例
- 01
robots.txt を公開する前に変更を監査します。
- 02
ルートが許可またはブロックされる理由を説明します。
- 03
グループ外のルールや基本的な矛盾を検出します。
ルートが許可またはブロックされる理由を説明します。
- 操作
- 最も具体的なグループを選択し、最長パスの一致を適用します。
- 得られるもの
- ローカルルート
グループ外のルールや基本的な矛盾を検出します。
- 操作
- 勝利ルール、警告、およびダウンロード可能な正規化された robots.txt を表示します。
- 得られるもの
- 勝利の法則
責任ある範囲
出典と範囲
robots.txt は、認証、セキュリティ、またはインデックス解除コマンドではありません。シミュレータは RFC 9309 の実用的なサブセットを実装しており、リモート URL をクエリしません。