robots.txt在线生成
输入禁止 / 允许的路径与 Sitemap，一键生成规范的 robots.txt。
使用说明
robots.txt 看着就几行,真写起来 `User-agent`、`Disallow`、`Allow` 的匹配优先级和通配符很容易搞反——一个斜杠写错,可能把整站挡在搜索引擎门外。
按表单填 allow/disallow 路径、指定针对哪些爬虫、附上 Sitemap 地址,生成规范的 robots.txt。新站上线设定抓取范围、屏蔽 `/admin`、`/cart` 这类不该进索引的路径、或给 Googlebot 和其它 bot 分别写规则时都用得上。记住 robots.txt 只是「礼貌性」告知爬虫别抓,不是访问控制,别拿它保护敏感目录。
常见问题
Disallow 了为什么页面还出现在搜索结果里？
robots.txt 只阻止抓取,不删除已收录的 URL。要从结果里移除,得在页面上加 `noindex`——而且此时别再 Disallow,否则爬虫抓不到页面就看不到 noindex 指令。
可以只屏蔽某一个爬虫吗？
能。用 `User-agent` 指定具体的 bot(如 Googlebot、Bingbot)再跟对应的 `Disallow`;没被点名的爬虫则走 `User-agent: *` 的通用规则。