Purple FarmApps en hulpmiddelen

Robots.txt-generator

Configureer en genereer robots.txt voor je site

Gebruik * voor alle crawlers

Gegenereerde robots.txt

# Klik op "Robots.txt genereren" om de uitvoer te zien

Over robots.txt

  • ā€¢ Plaats robots.txt in de hoofdmap van je website
  • ā€¢ Gebruik Allow: / om alle paden toe te staan
  • ā€¢ Gebruik Disallow: /pad/ om specifieke paden te blokkeren
  • ā€¢ Crawl-delay bepaalt de wachttijd tussen verzoeken
  • ā€¢ Voeg een sitemap-URL toe voor betere indexering