Purple FarmAplicaciones y herramientas

Generador de Robots.txt

Configura y genera robots.txt para tu sitio

Usar * para todos los rastreadores

robots.txt generado

# Haz clic en "Generar robots.txt" para ver la salida

Sobre robots.txt

  • • Coloca robots.txt en el directorio raíz de tu sitio web
  • • Usa Allow: / para permitir todas las rutas
  • • Usa Disallow: /ruta/ para bloquear rutas específicas
  • • Crawl-delay establece el tiempo de espera entre solicitudes
  • • Incluye la URL del sitemap para una mejor indexación