Purple FarmApp e strumenti

Generatore robots.txt

Configura e genera robots.txt per il tuo sito

Usa * per tutti i crawler

robots.txt generato

# Fai clic su "Genera robots.txt" per vedere l'output

Informazioni su robots.txt

  • • Posiziona robots.txt nella directory principale del tuo sito
  • • Usa Allow: / per consentire tutti i percorsi
  • • Usa Disallow: /path/ per bloccare percorsi specifici
  • • Crawl-delay imposta il tempo di attesa tra le richieste
  • • Includi l'URL della sitemap per un'indicizzazione migliore