묻고답하기
page_full_width" class="col-xs-12" |cond="$__Context->page_full_width">
구글 웹마스터 도구 어떻게 설정해야 하나요.. 구글봇에 시달리고 있습니다
2015.03.08 15:25
사이트 로그를 살펴보면 구글봇이 24시간 상주하면서 계속 사이트를 긁고 있더라구요
구글 웹마스터 도구에 들어가보니까 지나치게 많은 url 이 있다는 경고도 있고
같은 경로에 대한 중복되는 주소? 뭐 그런게 많아서 쓸대없이 많은 크롤링이 발생한다는 뭐 그런 이야기 같네요
크롤링 통계를 보면 하루 크롤링 페이지수가 40만건에 트래픽은 4기가 이상 발생되고 있구요
총 게시물이 5만건 정도에 하루 게시물이 500개 정도 올라오는 사이트인데 매일 40만건씩 긁는다는건 뭔가 잘못된거겠죠?
URL매개변수 설정을 통해서 뭔가 좀 개선할 수 있다면 어떻게 해야 하는건지 팁 좀 알 수 있을까요...
XE SEO 모듈 설치해보세요.