Purple FarmApps e ferramentas

Gerador de Robots.txt

Configure e gere o robots.txt para seu site

Use * para todos os crawlers

robots.txt gerado

# Clique em "Gerar robots.txt" para ver a saída

Sobre robots.txt

  • • Coloque o robots.txt no diretório raiz do seu site
  • • Use Allow: / para permitir todos os caminhos
  • • Use Disallow: /path/ para bloquear caminhos específicos
  • • Crawl-delay define o tempo de espera entre requisições
  • • Inclua a URL do sitemap para melhor indexação