AI CRAWLER CONTROL
AI robots.txt 生成器：保护内容，同时保留搜索流量
Robotswise 帮助网站所有者生成可读、可下载的 robots.txt 规则，用于表达对 AI 爬虫访问的偏好。所有配置在浏览器本地完成，不会上传你的站点信息。
robots.txt 能做什么？
它是面向合作型爬虫的抓取规则，不是登录保护、版权保护或隐藏敏感页面的安全方案。需要从搜索结果中移除的页面，应使用 noindex、身份验证或删除页面本身。
适合哪些场景
- 禁止 GPTBot、ClaudeBot、CCBot 等训练型爬虫访问公开内容。
- 允许 Googlebot 与 Bingbot 保持正常抓取，避免影响自然搜索发现。
- 保留 AI 搜索引用型爬虫，同时限制训练抓取。
发布前检查
- 确认没有意外封锁 Googlebot、Bingbot 或公开页面。
- 将文件放在域名根目录，例如
https://your-domain.com/robots.txt。 - 填写真实 sitemap 地址，并在 Google Search Console 与 Bing Webmaster Tools 提交。