Purple Farm应用和工具

Robots.txt 生成器

为你的网站配置并生成 robots.txt

使用 * 代表所有爬虫

已生成的 robots.txt

# 点击“生成 robots.txt”查看输出

关于 robots.txt

  • • 将 robots.txt 放在你网站的根目录
  • • 使用 Allow: / 允许所有路径
  • • 使用 Disallow: /path/ 禁止特定路径
  • • Crawl-delay 用于设置请求之间的等待时间
  • • 包含 sitemap URL 以便更好地索引