Purple Farmアプリとツール

robots.txtジェネレーター

robots.txtを作成して検索エンジンのクロールを制御

すべてのボットに適用（*）

生成されたrobots.txt

# 「生成」をクリックしてrobots.txtを作成してください

robots.txtについて

  • • robots.txtはWebサイトのルートディレクトリに配置します
  • • Allow: / で全パスを許可できます
  • • Disallow: /path/ で特定パスをブロックできます
  • • Crawl-delayはリクエスト間の待機時間を指定します
  • • サイトマップURLを含めるとインデックスの助けになります