在发布 robots.txt 之前审核更改。
- 你的操作
- 分隔用户代理组和允许/禁止规则。
- 获得的结果
- 用户代理经过测试
产品指南
使用场景
适用于 Googlebot、GPTBot 和其他爬虫的免费 robots.txt 模拟器，具有冲突、获胜规则和规范化文件。
实用示例
- 01
在发布 robots.txt 之前审核更改。
- 02
解释为什么允许或阻止某条路线。
- 03
发现群体外规则和基本矛盾。
解释为什么允许或阻止某条路线。
- 你的操作
- 选择最具体的组并应用最长的路径匹配。
- 获得的结果
- 本地路线
发现群体外规则和基本矛盾。
- 你的操作
- 显示获胜规则、警告和可下载的标准化 robots.txt。
- 获得的结果
- 获胜规则
责任范围
来源与范围
robots.txt 不是身份验证、安全或取消索引命令。该模拟器实现了 RFC 9309 的实用子集，并且不查询远程 URL。