묻고답하기
page_full_width" class="col-xs-12" |cond="$__Context->page_full_width">
robot.txt 이렇게쓰는거 맞나요?
2014.07.16 02:55
User-agent: cowbot
Disallow: Crawl-delay: 100
User-agent: Googlebot
Disallow: Crawl-delay: 200
User-agent: User-agent: daumoa
Disallow: Crawl-delay: 250
User-agent: *
Disallow: /
네이버 구글 다음만 허용하고 나머지봇은차단햇는대 이렇게 구현하면 먹히나요?
http://hiphop.gonetis.com/robots.txt
https://help.naver.com/support/contents/contents.nhn?serviceNo=606&categoryNo=1946
네이버 봇은 Naverbot과 Yeti 입니다.
User-agent: NaverBot
Allow: /
User-agent: Yeti
Allow: /
User-agent: Googlebot
Allow: /
User-agent : DAUMOA
Allow: /
User-agent: *
Disallow: /
참조 https://support.google.com/webmasters/answer/156449?hl=ko
https://help.naver.com/support/contents/contents.nhn?serviceNo=606&categoryNo=1948
delay 설정은 안하셔도 됩니다. 너무 잦은 검색으로 트래픽 초과되는 경우
네이버와 다음은 Crawl-delay 설정을 하시고
구글은 https://support.google.com/webmasters/answer/48620?hl=ko 를 참조하여 검색 주기를 늦추시면 됩니다.