AI ROBOTS.TXT GENERATOR
为 AI 时代写一份更聪明的 robots.txt
用一份标准协议控制 AI 爬虫访问，同时保留 Google 搜索的自然流量。所有配置仅在你的浏览器中生成。
从一个策略开始
7 已选择选择要封锁的爬虫
AI 爬虫清单 · 11
SEO 与路径设置
这份文件能做什么？
robots.txt 是给合作型爬虫的访问偏好信号，并不是访问控制或版权保护机制。敏感页面仍应使用登录、权限或 noindex。
GOOGLE SEO GUIDE
Google SEO：正确使用 robots.txt
robots.txt 的作用是管理抓取，不是把页面从 Google 搜索结果中“隐藏”。以下设置能在保护内容与搜索可见性之间取得更稳妥的平衡。
1
保持公开页面可抓取
保留 User-agent: * 与 Allow: /，避免误封 Googlebot。
2
提交真实 Sitemap
将可公开访问的 sitemap.xml 填入生成器，帮助 Google 发现规范页面。
3
敏感页面别只靠 robots.txt
需要彻底不出现在搜索结果中的页面，请使用 noindex、登录保护或移除页面。
4
将文件放在域名根目录
发布为 https://你的域名/robots.txt，并在 Search Console 中验证。