포럼
갑자기 트래픽이 과도해서 보니...
2014.02.24 17:35
며칠전부터 트래픽이 과도해서 고민이 많았는데요...
이유를 찾기도 어렵고 대처도 어렵고...
리퍼러통계를 보니
아래 그림처럼 나오네요.
이게 중국의 검색엔진 바이두의 검색봇 맞는거죠?
그런데 왜 이놈들은 남의 작은 사이트에 수백만건씩 조회를 해서, 트래픽 초과로 홈페이지를 차단되게 만들죠?
악당인가요? 악마인가요?
도대체 이해가 안되네요...
검색봇이 다녀가야 검색에 노출도 되고 좋긴하겠지만...
저 놈은 아닌데요...
저 놈의 바이두 검색봇만 차단할 수 있나요?
댓글 5
-
저도 중국발 BaiDuSpider 봇 차단했습니다.엄청난 트래픽을 발생시킵니다.-------------------------------------User-agent: BaiDuSpiderDisallow: /-------------------------------------
-
nado0124
2014.02.24 17:48
어떻게 차단하는건지 방법 좀 알려주세요.
제가 초보라...
-
MJ12bot 이놈도 한동한 속썩여서 같이 차단했습니다.User-agent: BaiDuSpiderDisallow: /User-agent: MJ12botDisallow: /파일명을 robots.txt (아래 첨부파일)로 하여 사이트의 최상위 주소에루트 디렉토리= FTP로 접속하면 처음 나타나는 페이지에 저장하면 됩니다.(예:http://www.자기주소/robots.txt)---------------------------------------------------------참고로 올려드립니다.[robots.txt 저장 방법]To exclude all robots from the entire server(사이트 전체가 모든 검색엔진에 노출되는 것을 원하지 않을 때 )User-agent: *Disallow: /To allow all robots complete access(사이트 전체가 모든 검색엔진에 노출되기를 원할 때 )User-agent: *Disallow:(or just create an empty "/robots.txt" file, or don't use one at all)To exclude all robots from part of the server( 디렉토리의 일부만 검색엔진에 노출하고 싶을 때)User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /junk/(로봇은 cgi-bin,tmp,junk라는 폴더에 속한 웹문서에 접근할 수 없습니다.)To exclude a single robot(전체가 검색되길 원하지만 특정 검색엔진을 거부하고 싶을 때)User-agent: BadBotDisallow: /(“BadBot”이라는 이름을 가진 로봇만을 배제하게 됩니다.)To allow a single robot(전체가 검색되길 원하지만 특정 검색엔진에게만 노출되기를 원할 때)User-agent: GoogleDisallow:User-agent: *Disallow: /(이 경우 GoogleBot만이 웹문서를 수집해갈 수 있습니다.)“robots.txt”를 작성하는 것과 유사한 방법으로HTML문서의 (HEAD)와 (/HEAD)태그 사이에(META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW")라는 메타태그를 추가하면 로봇은 웹 문서를 가져갈 수 없습니다.이 방법은 다소 번거롭기는 하지만 문서 하나하나에 대해 정확하게 명시를 해주기 때문에가장 확실하게 로봇의 접근을 막을 수 있는 방법입니다.
-
nado0124
2014.02.24 18:05
이렇게 자세하게 알려주실 줄 몰랐네요...^^;
그냥 간단하게 몇 줄 써 주시면 되는지 알았는데...
뜻하지 않게 엄청 번거롭게 해 드렸네요...
친절하고 자세하게 알려주셔서 다시 한번 진심으로 감사드립니다.
덕분에 저 같은 다른 초보 분들에게도 많은 도움이 되겠네요.
고맙습니다.
-
이 글을 팁게에 올리실 생각 없으신가요? +_+
고생하고계신분 꽤 되실텐데..
