产品指南

工作原理

检查每个机器人可以抓取哪些 URL，找出决定访问的确切规则，并在发布之前下载更正的 robots.txt。

方法

01
分隔用户代理组和允许/禁止规则。
02
选择最具体的组并应用最长的路径匹配。
03
显示实际适用的规则和提示。下载保留输入文本，包括注释、Sitemap 和换行，不自动改写文件。

实用示例

情境 A · 访问被阻止

输入数据

robots.txt的内容: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
用户代理: 谷歌机器人
本地路线: /private/report.html

结果

最具体的规则是 disallow：/private/。

决定: DISALLOW
规则组: 1
匹配的规则: 1

robots.txt 针对合作爬虫；它不进行身份验证，不保护内容，也不保证取消索引。

情境 B · 允许访问

输入数据

robots.txt的内容: User-agent: * Disallow: /private/ Allow: /private/public/ Sitemap: https://example.test/sitemap.xml
用户代理: 谷歌机器人
本地路线: /private/public/report.html

结果

最具体的规则是 allow：/private/public/。

决定: ALLOW
规则组: 1
匹配的规则: 2

robots.txt 针对合作爬虫；它不进行身份验证，不保护内容，也不保证取消索引。

情境 C · 访问被阻止

输入数据

robots.txt的内容: User-agent: * Allow: /page Disallow: /*.htm
用户代理: 谷歌机器人
本地路线: /page.htm

结果

最具体的规则是 disallow：/*.htm。

决定: DISALLOW
规则组: 1
匹配的规则: 2

robots.txt 针对合作爬虫；它不进行身份验证，不保护内容，也不保证取消索引。

情境 D · 访问被阻止

输入数据

robots.txt的内容: User-agent: * Disallow: /café
用户代理: 谷歌机器人
本地路线: /caf%C3%A9

结果

最具体的规则是 disallow：/café。

决定: DISALLOW
规则组: 1
匹配的规则: 1

robots.txt 针对合作爬虫；它不进行身份验证，不保护内容，也不保证取消索引。

robots.txt 不是身份验证、安全或取消索引命令。该模拟器实现了 RFC 9309 的实用子集，并且不查询远程 URL。

下载结果 · JSON

责任范围

来源与范围

robots.txt 不是身份验证、安全或取消索引命令。该模拟器实现了 RFC 9309 的实用子集，并且不查询远程 URL。