🤖 Robots.txt生成器
基本设置
Sitemap URL
爬虫延迟 (秒,可选)
快速预设
允许所有
禁止所有
自定义规则
自定义规则
User-Agent
所有爬虫 (*)
Googlebot
Bingbot
百度蜘蛛
搜狗蜘蛛
Allow
Disallow
删除
+ 添加规则
生成的robots.txt
复制代码
工具首页
关于本站
隐私说明
问题反馈
使用指南