트래픽 하루 허용 용량이 600M 이고..

robors.txt
파일 내용은 아래와 같습니다.

User-agent: *
Disallow: /
Crawl-delay: 1200


이렇게 해 놓으면 로봇들이 더이상 크롤링 하지 못해야 하는거 아닙니까?

거기다가.. .htsccess 파일로 그동안 트래픽 발생시킨 IP 들도 다 차단시켰습니다.


그런데도 오늘도 여전히 홈페이지가 트래픽 오버되었네요.


현 홈페이지 계정(smotor1.cafe24.com)을 사용한지 4년 정도 되는것 같고, 그동안 이런 경우가 한번도 없었는데,
갑자기  일주일 전 부터 날마다 이런 현상이 발생하네요..
cafe24 고객센터에 문의해보니 daum 쪽에서 접속량이 많다고 알아서 해결하라는 답변이네요..
daum 쪽에 파일 업로드한게 있는 것도 아니고, 퍼온 글은 있을지 모르지만, 별달리 그런게 없네요. 만약 이런게 문제였다면 그동안 아무 문제 없이 지내온 시절은 왜 그런건지...

IP 많이 차단해봐야.. 다음날이 되면 또 다른 Ip 가 들어오네요..


이해가 안가는게,
robots.txt.  를 위와같이 해놧는데도 개선이 없으니 말입니다.

robots.txt 를 무시하는 봇의 공격인것인지..



누가 좀 도와주세요. 지금도 트래픽 오버되어 홈페이지 접속이 안되네요..
Crawl-delay: 1200 이면....1200 초 마다 한번씩 크롤링 해야하는데, 제가 접속자수를 10초마다 체크해도...10초 사이에 여러건의 접속건수가 발생해있네요..

원래 제 홈페이지 하루 방문자가 200 정도였는데, 요새는 갑자기 2000 정도 되어서 트래픽 오버입니다.
이런 경우는 도대체 왜 이런겁니까?

누가 좀 도와주세요...ㅠㅠ