묻고답하기
page_full_width" class="col-xs-12" |cond="$__Context->page_full_width">
네이버 봇을 막을 방법
2013.06.14 21:11
호스팅 회사에서 과부하가 걸린다고 사이트를 막아버렸네요.
현재 사이트는 하루에 10명 미만의 가입자가 있습니다만 CPU는 250까지도 올라가네요.
현재 사이트 방문 로그를 보면
61.247.204.37 | 6/14/13 4:58 AM | 11 | GET | HTTP/1.1 | Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/) | |||
61.247.204.39 | 64/13 4:58 AM | 9652 | 200 | GET | HTTP/1.1 | Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/) | ||
66.249.73.229 | 6/14/13 4:57 AM | 7596 | 200 | GET | HTTP/1.1 | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) | ||
61.247.204.39 | 6/14/13 4:57 AM | 122 | 200 | GET | HTTP/1.1 | Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/) | ||
61.247.204.37 | 6/14/13 4:57 AM | 20609 | 200 | GET | HTTP/1.1 | Yeti/1.0 (NHN Corp.; http://help. |
현재 Syndi는 사용하질 않고 있고
robot.txt를 이용해서
User-agent: Yeti
Disallow:
로 처리를 해 놓긴 했는데 현재 구글봇도 꽤 많긴하지만 네이버 만큼은 아닌데
좋은 방법이 있으면 추천부탁합니다.
robot.txt가 아니라 robots.txt 아닌가요?