사이트 로그를 살펴보면 구글봇이 24시간 상주하면서 계속 사이트를 긁고 있더라구요

 

구글 웹마스터 도구에 들어가보니까 지나치게 많은 url 이 있다는 경고도 있고

 

같은 경로에 대한 중복되는 주소? 뭐 그런게 많아서 쓸대없이 많은 크롤링이 발생한다는 뭐 그런 이야기 같네요

 

크롤링 통계를 보면 하루 크롤링 페이지수가 40만건에 트래픽은 4기가 이상 발생되고 있구요

 

총 게시물이 5만건 정도에 하루 게시물이 500개 정도 올라오는 사이트인데 매일 40만건씩 긁는다는건 뭔가 잘못된거겠죠?

 

URL매개변수 설정을 통해서 뭔가 좀 개선할 수 있다면 어떻게 해야 하는건지 팁 좀 알 수 있을까요...