🤖 Robots.txt生成器
基本设置
Sitemap URL
爬虫延迟 (秒，可选)
快速预设
允许所有
禁止所有
自定义规则
自定义规则
User-Agent
所有爬虫 (*)
Googlebot
Bingbot
百度蜘蛛
搜狗蜘蛛
Allow
Disallow
删除
+ 添加规则
生成的robots.txt
复制代码
🔗 相关工具
👤
头像生成器
|||
条形码生成器
🏆
证书生成器
💻
代码卡片生成器
✉️
邮件签名生成器
🎭
假数据生成器
🐙
GitHub 贡献图生成器
🌈
渐变色卡生成器
🅰️
Logo 文字生成器
😂
表情包生成器
🎲
Mesh渐变背景生成器
📋
Mock 数据生成器