方法
工作原理
- 分隔用户代理组和允许/禁止规则。
- 选择最具体的组并应用最长的路径匹配。
- 显示实际适用的规则和提示。下载保留输入文本，包括注释、Sitemap 和换行，不自动改写文件。
01 · 输入数据
粘贴您的 robots.txt 并尝试一条路线
分隔用户代理组和允许/禁止规则。
该文件在本地读取。
不要粘贴秘密； robots.txt 是公开的。
没有发出网络请求。
该记录故意简短且有版本。
02 · 结果
准入、获胜规则和冲突
计算就绪访问被阻止
最具体的规则是 disallow：/training/。
DISALLOW决定
3规则组
1匹配的规则
- 测试的 User-agent
- Google-Extended
- 路径
- /training/private/report.html
- 决定访问结果的规则
- disallow:/training/
- 冲突
- 0
- robots.txt 针对合作爬虫；它不进行身份验证，不保护内容，也不保证取消索引。
何时使用
使用场景
- 在发布 robots.txt 之前审核更改。
- 解释为什么允许或阻止某条路线。
- 发现群体外规则和基本矛盾。
限制
来源与范围
robots.txt 不是身份验证、安全或取消索引命令。该模拟器实现了 RFC 9309 的实用子集，并且不查询远程 URL。
隐私设计
隐私 →数据保留在此设备上
工具在浏览器中计算并创建文件，无需账户，也不会将输入发送给 Chapa Lab。