Robots.txt 工具集 - 生成 & 检测

🚀 配置Robots规则

1. 选择搜索引擎

2. 允许爬取的路径（每行一个）

示例：/ 表示允许根目录，/news/ 表示允许新闻目录

3. 禁止爬取的路径（每行一个）

示例：/admin/ 禁止管理后台，/*.php? 禁止带参数的PHP页面

4. Sitemap 地址（可选）

5. 爬取延迟（秒，可选）

📄 预览结果

                            # 请点击 "生成 Robots 文件" 按钮来查看预览
                            # Robots.txt 
                            # 生成时间: 
                        

Robots.txt 在线检测

网站域名

无需添加 /robots.txt，工具会自动拼接检测

Robots.txt 内容

检测指定爬虫

📊 检测结果

                            请选择检测方式并点击按钮开始检测 Robots.txt 文件
                        

📚 Robots.txt 规则说明

1. User-agent: 指定适用的爬虫名称（* 表示所有爬虫）
2. Disallow: 禁止爬虫访问的路径（/ 表示根目录，空值表示允许所有）
3. Allow: 允许爬虫访问的路径（优先级高于 Disallow）
4. Sitemap: 指定网站地图的URL
5. Crawl-delay: 指定爬虫访问间隔（秒）

示例：
User-agent: Baiduspider
Disallow: /private/
Allow: /private/public/
Crawl-delay: 5