robots.txt 生成器与 AI 爬虫审计

使用说明

1. 构建页：规则一行一条（allow /admin/ 或 disallow /admin/），多个 User-agent 用逗号分隔，Sitemap 每行一个 URL。
2. 匹配是「最长优先」而不是「后写覆盖先写」：Allow 与 Disallow 同时命中时取路径更长的那条，等长时 Allow 胜。
3. Disallow 是前缀匹配，`/admin` 会同时封掉 `/administrator`——这是最经典的误伤，且永远不会有报错提醒你。审计页会把这类路径单独标出来。
4. 特定 agent 组一旦匹配就不再回落到 * 组，即使该组没有任何规则。空组因此是静默放行，审计会警告。
5. AI 爬虫页按 25 个爬虫（厂商文档里写明 token 的那些）算实际策略：采样路径全封为「已封」，全放为「放行」，其余为「部分封」。
6. 「封训练类 AI」预设会生成**两组**：* 组保留站点自身的 admin/api 规则，训练类单独一组 Disallow: /。压成一组会让 * 也全站被封。
7. robots.txt 是约定不是权限。遵守的爬虫会读，采集型爬虫直接无视——真正的访问控制要用鉴权或 WAF。
8. llms.txt 是 2024 年提出的建议格式，不是标准，也没有厂商承诺会读它。

相关工具