Robots.txt-Generator

robots.txt für Ihre Website konfigurieren und erzeugen

* für alle Crawler verwenden

Generierte robots.txt

# Klicken Sie auf „robots.txt erzeugen“, um die Ausgabe zu sehen

Über robots.txt

  • • Legen Sie robots.txt im Root-Verzeichnis Ihrer Website ab
  • • Verwenden Sie „Allow: /“, um alle Pfade zu erlauben
  • • Verwenden Sie „Disallow: /pfad/“, um bestimmte Pfade zu sperren
  • • Crawl-delay legt die Wartezeit zwischen Anfragen fest
  • • Fügen Sie die Sitemap-URL hinzu, um die Indexierung zu verbessern