묻고답하기
페이지뷰가 과하게 높네요. 봇이 없는 페이지를 자꾸 긁는 듯 생각됩니다.
2015.01.19 23:04
vnstat -d
day rx | tx | total | avg. rate
------------------------+-------------+-------------+---------------
01/09/15 906.75 MiB | 71.21 MiB | 977.96 MiB | 92.73 kbit/s
01/10/15 54.72 MiB | 130.52 MiB | 185.24 MiB | 17.56 kbit/s
01/11/15 36.59 MiB | 145.82 MiB | 182.41 MiB | 17.29 kbit/s
01/12/15 75.24 MiB | 210.05 MiB | 285.29 MiB | 27.05 kbit/s
01/13/15 57.78 MiB | 265.83 MiB | 323.61 MiB | 30.68 kbit/s
01/14/15 274.97 MiB | 149.11 MiB | 424.08 MiB | 40.21 kbit/s
01/15/15 158.56 MiB | 287.39 MiB | 445.95 MiB | 42.28 kbit/s
01/16/15 112.13 MiB | 257.39 MiB | 369.52 MiB | 35.04 kbit/s
01/17/15 145.27 MiB | 204.03 MiB | 349.30 MiB | 33.12 kbit/s
01/18/15 80.38 MiB | 153.71 MiB | 234.09 MiB | 22.19 kbit/s
01/19/15 98.70 MiB | 182.60 MiB | 281.29 MiB | 27.70 kbit/s
------------------------+-------------+-------------+---------------
estimated 101 MiB | 189 MiB | 290 MiB |
1. 문제점
처음에는 확장 애드온을 썼었는데,
코어 업데이트에서 봇 제외하였다는 말에 기본 카운터로 돌렸습니다.
카운터는 정상 이용자만 카운터 되는 것 같은데요.
페이지뷰가 과하게 많이 나오고 있습니다.
2. 현재 홈페이지 상황
접속자수 저 빼고 하루 10명이 되지 않습니다.
외부에 보이는 게시물 contents 숫자는 대략 50개 정도구요,
메뉴는 대략 10개 정도입니다.
3. 검색 엔진 관련
다음/네이버 사이트 등록은 하였습니다.
구글, 네이버 analytics 도 작동하도록 조치하였습니다.
구글 sitemap 애드온도 설치해서 돌아가고 있습니다.
4. 관련 사항
구글 웹마스터 도구에 특이할만한 사항이 있는데요
크롤링 오류 - URL 오류가 2000건이나 됩니다.
대부분 사이트 설치 초반에 만들었던 것들이 오류나고 있습니다.
테스트 게시판 mid=board_test_1
테스트 위젯 페이지들 page_xxxx
그냥 놔두면 해결된다는 글이 많아서 놔두고 있다가,
얼마전에 하나 설정해 두었습니다. (잘 한건지는 모르겠습니다만)
| mid=board_test_1 | - | 2015年1月17日 | 지정 | URL 크롤링 안함 |
5. 궁금한 점
페이지 뷰 이렇게 높은게 정상인가요?
문제가 있다면 원인을 찾는 방법 & 문제 해결 방법은 무엇일까요?
댓글 16
-
bluedream
2015.01.19 23:15
-
검색 봇이라는게 무수히 많기때문에, (네이버/다음/구글/Bing 등등) 원하시는 봇만 가려서 받는 것도 하나의 방법일 것 같고요..
XE같은 경우에는 검색봇이 여러 url로 긇어가기 때문에 상당히 높게 나올 수도 있습니다.
세상의 모든 계산기님의 사이트같은 경우에는 일 방문자가 10명인 것 치고는 좀 높은 편이고요..
구글 웹마스터 도구의 오류들은 오직 구글 봇에만 적용되니 큰 신경 안쓰셔도 될 것 같습니다. 정 신경쓰이시면 사이트맵을 새로 등록해보세요.
종합해서 말씀드리자면, 트래픽을 많이먹거나 하는 심각한 문제가 아니라면 일부러 조절해서 막을 필요는 없을 것 같습니다. 아무래도 페이지뷰가 높다면 검색봇이 많이 긇어간다는 것이니까요. -
세상의모든계산기
2015.01.19 23:26
그런데 검색봇이 긁어갈 때는
긁어가는 내용용량이 일반유저에 비해 적은가요?
페이지뷰 숫자에 비하면 트래픽이 그렇게 높은 것 같지 않아서요.
아... 404 이런 페이지만 긁어갔다면 높지 않을 수도 있겠군요.
-
네. 적습니다.
실제 웹페이지에 들어가면 CSS파일이나 js파일, 이미지파일을 로드하지만
봇은 그러지 않는 경우가 많으니까요. -
세상의모든계산기
2015.01.19 23:30
아...
봇이라서 그런지? 똑똑하군요.
(아무렴 지들도 바쁜데 필요없는 것까지 긁어갈 필욘 없겠죠.)
-
표현이 위트있으시네요 ㅎㅎ
-
세상의모든계산기
2015.01.20 01:07
db 의 페이지 뷰를 매 분 간격으로 체크하게 이벤트를 만들어 봤는데요,
그래프가 너무 깨끗하게 올라가네요.
그래프 보니까
봇 때문이 아닌 것 같은데요?
마치... 뭔가(?)가 꾸준히 페이지(?)를 읽고 있는게 아닌가 싶은데요?
이를테면...
제가 띄워놓은 브라우저가 실시간 통신같은걸 하면서
아니면... 서버에 띄워놓은 node.js가 페이지를 읽거나??
뭐 그런것도 가능할까요?
음...
자고 일어나면 브라우저 탓인지 아닌지 확실히 나오겠군요. (아닐 것 같지만)
-
세상의모든계산기
2015.01.20 08:49
자고 일어나서 한번 살펴봤습니다.
저 앞부분에 꺽인 시점이 제가 컴을 끈 시점과 유사한 것 같습니다.
-
세상의모든계산기
2015.01.20 08:58
오늘 자정부터 오늘 아침까지 리퍼러 로그 내용입니다.
구글봇은 정말 꾸준히 들어왔네요.
순위
User Agent
조회 수
1
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
121
2
Mozilla/4.0 (compatible; MSIE 5.5; Windows 98; DigExt)
24
3
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
3
4
Mediapartners-Google
2
5
Mozilla/5.0 (compatible; Yeti/1.1; +http://help.naver.com/robots/)
2
6
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; InfoPath.2)
2
7
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
1
8
Mozilla/5.0 (compatible; MSIE or Firefox mutant; not on Windows server; + http://tab.search.daum.net/aboutWebSearch.html) Daumoa/3.0
1
9
Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.154 Safari/537.36
1
10
Mozilla/5.0 (Windows NT 6.1; WOW64; rv:13.0) Gecko/20100101 Firefox/13.0.1
1
11
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko; Google Page Speed Insights) Chrome/27.0.1453 Safari/537.36 GoogleBot/2.1
1
12
Googlebot-Image/1.0
1
-
세상의모든계산기
2015.01.20 10:23
분당 뷰를 보니까
봇 때문은 아닌 것 같고... 서버 내부적인 문제인 듯 합니다.
* 제 컴이 꺼진 시점에서 뷰/분 이 뚝 떨어지고
아침에 제 컴 켜고 웹상에서 db 좀 보다가...
"홈페이지 XE 페이지에 접속한 시점"에서 쑥 올라가네요.
-
아니면... 서버에 띄워놓은 node.js가 페이지를 읽거나?? 뭐 그런것도 가능할까요?
이러한 특수한 사항이라면 가능할 수도 있습니다.
애드온이나 말씀하신 node.js와 같은 것에 따라서요 :)
-
세상의모든계산기
2015.01.20 12:42
마지막에 치솟아 있는 구간은
11:54 ~ 12:24 :
30분간4브라우저(크롬, 오페라, FF, IE) 모두 접속 (자유게시판, 3로그인 1손님) 켜둠.
그렇다면
기본 47뷰/분
접속중인 브라우저당 47뷰/분
이런 상황인 듯 합니다.
-
세상의모든계산기
2015.01.20 15:58
원인은 찾아냈습니다.
문제발생한 원인은 아약스보드 모듈 때문이었습니다.
해당 모듈 설정에서
1. 통신 메시지 - 미사용으로 바꾸자
사용자당 pv/min 기본값이 47에서 30으로 줄었구요. = 초당 2페이지뷰
(모듈 사용하는 웹페이지 접속 없을 때는 0)
2. 플러그인설정 - HTML5 알림 플러그인 모두 체크 해제하자
브라우저로 사이트 접속 중에도 페이지뷰가 하나도 올라가지 않게 되었습니다.
이제 어디를 고쳐 써야 할지...결정해야겠네요.
관심 가져주신 분들 모두 감사드립니다.
-
세상의모든계산기
2015.01.20 17:26
정확한 원인과 해결책도 밝혀졌습니다.
https://github.com/izuzero/xe-module-ajaxboard/issues/32
원인은 모듈을 위해서 실행하였던
forever -xxx.js 푸쉬서버가 재부팅 과정에서 꺼지게 되고,
자동실행 목록에 없다보니 모듈에서 푸쉬서버 부를 때
SSH(Server Sent Events) 방식으로 자동 전환되면서
페이지뷰가 지속적으로 올라간 것이라고 합니다.
해결 :
푸쉬서버(forever) 다시 등록하고 나니 페이지뷰가 정상으로 돌아 왔습니다.
-
세상의모든계산기
2015.01.21 09:48
정상화 이후에 다른 문제점이 발생
카운터가 1개씩 오르지 않고 2개씩 오르는군요.
이건 그냥 그런가보다 하고 넘어가겠....이라고 하기에는 찝찝
-> 아약스보드 모듈 때문이 아니고, 레이아웃에 따른 차이인듯 보입니다.
아약스보드 작동되는 기본레이아웃에서는 카운트가 1씩 올라가는군요.
-
세상의모든계산기
2015.01.21 14:36
페이지뷰 카운터가 +1 대신 +2 되는 현상은,
그 원인이 쿡래빗 레이아웃 배경 설정에 있었습니다.
참고
http://xecenter.com/xe/question/105546
이제 다 깔끔하게 정리됐네요. ㅋㅋㅋ
음.. 그냥 지나갔었는데.. 한번 분석을 해봐야겠네요.