CrawlerControl
产品指南

使用场景

在浏览器中测试 Googlebot、GPTBot 等爬虫的 robots.txt 规则。输入路径，查看允许或阻止访问的具体规则、适用的代理组及冲突提示；下载时保留输入文本、注释、Sitemap 和换行。含可复现的规则示例，模拟结果不保证搜索引擎收录。

实用示例

  1. 01

    在发布 robots.txt 之前审核更改。

  2. 02

    解释为什么允许或阻止某条路线。

  3. 03

    发现群体外规则和基本矛盾。

实用示例

情境 A · 访问被阻止

输入数据

robots.txt的内容
User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
用户代理
谷歌机器人
本地路线
/private/report.html

结果

最具体的规则是 disallow：/private/。

决定
DISALLOW
规则组
1
匹配的规则
1
  • robots.txt 针对合作爬虫；它不进行身份验证，不保护内容，也不保证取消索引。

情境 B · 允许访问

输入数据

robots.txt的内容
User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
用户代理
谷歌机器人
本地路线
/private/public/report.html

结果

最具体的规则是 allow：/private/public/。

决定
ALLOW
规则组
1
匹配的规则
2
  • robots.txt 针对合作爬虫；它不进行身份验证，不保护内容，也不保证取消索引。

情境 C · 访问被阻止

输入数据

robots.txt的内容
User-agent: * Allow: /page Disallow: /*.htm
用户代理
谷歌机器人
本地路线
/page.htm

结果

最具体的规则是 disallow：/*.htm。

决定
DISALLOW
规则组
1
匹配的规则
2
  • robots.txt 针对合作爬虫；它不进行身份验证，不保护内容，也不保证取消索引。

情境 D · 访问被阻止

输入数据

robots.txt的内容
User-agent: * Disallow: /café
用户代理
谷歌机器人
本地路线
/caf%C3%A9

结果

最具体的规则是 disallow：/café。

决定
DISALLOW
规则组
1
匹配的规则
1
  • robots.txt 针对合作爬虫；它不进行身份验证，不保护内容，也不保证取消索引。

robots.txt 不是身份验证、安全或取消索引命令。该模拟器实现了 RFC 9309 的实用子集，并且不查询远程 URL。

下载结果 · JSON

责任范围

来源与范围

robots.txt 不是身份验证、安全或取消索引命令。该模拟器实现了 RFC 9309 的实用子集，并且不查询远程 URL。

RFC 9309
试用工具