구글 사이트맵을 올렸는데 자꾸 에러가 떠서 호스팅사에 문의를 했는데 아래와 같은 답을 받앗습니다.

이 답변대로하면 검색 로봇을 상당히 제한한다는 것 같은데 맞는건지요?

다른 호스팅사에서도 유사한 정책을 사용하는지 알고싶습니다.

솔직히 당혹스럽습니다.

사용 호스팅사 : 와우웹(https://www.woweb.net/)

안녕하세요..

웹방화벽(한국정보보호진흥원배포)을 모든 서버에서 이용중이며 해당 부분은 구글, 야후, 네이버, 네이트등등 다수 검색 로봇이 홈페이지 정보를 무작위로 긁어가지 못하도록 차단 룰에 의해 차단되고 있는것으로 확인되고 있습니다.

검색로봇들의 문제는 과도한 홈페이지 접속을 진행하여 서버 부하 뿐만 아니라 트래픽 유발, 개인정보 수집등에 이용되는경우가 잦아 문제가 심각하기때문에 정부기관에서도 차단을 권장하는 부분입니다.

현재 구글만 오픈해드릴수 없는 부분입니다.

요즘은 구글, msn, 네이버가 경쟁적으로 로봇을 운영하고 있어 서버 안정성을 저해하는 경우가 잦아 문제가 심각한 상태까지 이르는 경우가 발생되고 있습니다.

해당 기능을 이용하시는 몇몇분들께서는 불편하시겠지만 수많은 이용자분들을 보호하기 위한 조치이오니 이점 양해 바랍니다.

감사합니다.




>1. 문의하실 계정(FTP) ID:
>2. 문의하실 내용(어떤 부분의 어떤 문제인지 상세히 기재바랍니다)
>
>구글 웹마스터도구를 살펴보다보니
>제 사이트의 전부가 HTTP 403 오류 (금지됨) 상태로 나옵니다
>그래서 지난 6월부터는 전혀 검색이 안되고 있습니다.
>
>아래는 사이트맵을 올렸더니 나오는 메세지입니다.
>
>일반 HTTP 오류: HTTP 403 오류 (금지됨)
>Sitemap에 액세스하는 중에 오류가 발생했습니다. Sitemap이 Google 가이드를 준수하는지와 제공하신 위치에서 액세스할 수 있는지 확인하고 다시 제출해 주십시오.
>
>일반적인 홈페이지 접속은 문제가 없는 것 같은데 구글에서는 접속이 않된다고 나오니 갑갑하네요
>
>뭐가 문제인가요? 확인부탁드립니다.