Purple Farm앱과 도구

robots.txt 생성기

사이트용 robots.txt를 설정하고 생성합니다

모든 크롤러에 * 사용

생성된 robots.txt

# “robots.txt 생성”을 클릭하면 결과가 표시됩니다

robots.txt 안내

  • • robots.txt는 웹사이트 루트 디렉터리에 두세요
  • • 모든 경로를 허용하려면 Allow: / 를 사용하세요
  • • 특정 경로를 막으려면 Disallow: /path/ 를 사용하세요
  • • Crawl-delay는 요청 사이 대기 시간을 설정합니다
  • • 인덱싱을 개선하려면 사이트맵 URL을 포함하세요