포럼
page_full_width" class="col-xs-12" |cond="$__Context->page_full_width">
바이두의 습격....
2013.08.12 23:00
원래 제 홈페이지가 워낙에 마이너해서 하루 방문자가 100명을 넘은 적이 거의 없습니다.
그런데 며칠 전부터 갑자기 홈페이지에 카운터가 하루에 600을 넘기더군요.
왜 그럴까 하고 조사해 봤더니 바이두 검색엔진이 습격을 하고 있습니다.
문제는 User Agent가 MSIE 8.0으로 세팅되어 있어서 UA로 필터링이 안 되는군요.
IP가 202.46. 으로 시작하는 곳에서 오는 MSIE 8.0의 방문은 전부 바이두 로봇으로 봐도 될 것 같습니다.
그냥 황당해서 주절주절 적어봤습니다. ^^a
댓글 5
-
참치.k
2013.08.13 06:44
-
PHPno1
2013.08.13 09:49
검색엔진이 확실해요? 그럼 robots.txt 파일은요?
-
큰돌♡
2013.08.13 11:30
robots.txt도 무시하네요.
참... robots.txt 말이 나왔으니 말인데, 제 홈페이지에서는 이상하게 robots.txt가 동작을 안 하는 것 같습니다.
http://www.kndol.net/robots.txt
이리저리 수정해보다가 도저히 안 돼서 이렇게 해놨는데도 모든 봇이 계속 크롤링하는 것 같네요.
-
S야옹이
2013.08.13 14:05
바이두 봇..ㅋㅋ
-
짤막한글
2013.08.13 16:04
구글 같은경우는 robots.txt에서 확실히 허용하거나 아예 404 페이지 뜨지 않는이상 아예 크롤링하지 않더군요.
바이두 봇의 방문자수 테러도 그렇고 구글봇도 만만치 않습니다 ㄷㄷ..