묻고답하기
로봇설정, 네이버 신디케이션 질문드립니다
2015.02.11 12:46
안녕하세요
이전에도 같은 내용의 질문글을 올렸으나 답변이 없으셔서 직접 검색도하고 노력도해봤지만
원하는 답을 얻을수 없었습니다..
![스크린샷 2015-02-08 오전 12.38.23.png](https://www.xpressengine.com/files/attach/images/122/333/938/022/158a85e3004293f8f1b333e38de9aff9.png)
현재 신디케이션 연동후에 저런 글들이 웹문서에 수없이 쌓여있어서 네이버에 메일을보내서 현재는 다사라진 상태이구요
아마 로봇 봇들이 긁어가는거같아서 전체차단으로 설정해두었습니다
현재 저 키워드로 검색시 웹문서 탭에는 저 이상한글들이 다 사라졌습니다
그런데 또다른 문제가 생겼습니다
제가 원하는 게시물들 즉, 키워드 검색시 네이버에 노출되는 글들을 수집요청하면 수집차단,거부를 합니다..
네이버봇만 접근ok하게 설정을 한다면 다시 저 이상한글들이 수없이 쌓일거같아서 무섭습니다
정말 간단하게라도 힌트라도 좋으니 답변 주시면 정말 감사하겠습니다.
댓글 5
-
akasima
2015.02.13 14:03
-
fjgal
2015.02.13 14:10
답변 주셔서 정말 감사합니다
저부분을 로봇으로 차단하려면 어떻게 할수있을까요..
제 사이트가 지금 주소.com/xe ~ 이렇게 되어있는데 저부분을 차단하려면 Disallow: xe/file_srl 이런식으로 하면 될까요?
-
몽실아빠
2015.02.13 14:18
저는 네이버는 위와 같은 현상이 없어서 별도 robots.txt에서 막지 않고 있는데요. 사이트 내부적으로 구글 검색을 이용하다보니 검색했을때 검색결과가 여러게 나와서 제가 차단을 한 방법이 있습니다.
Disallow: /*?
주소에 물음표가 들어가면 봇이 접근하지 않는것인데요. 요게 꽤 효과가 있습니다.
사이트에 방문자가 검색창에 검색어를 입력했을때 XE의 기본 주소형식인 /abc/1234 와 /index.php? 이런 형태의 주소까지 모두 나열하니 동일 문서가 여러게 검색자에게 노출되는 상황입니다.
그래서 저는 물음표 들어간 주소는 구글봇에게는 제한하고 있습니다.
-
fjgal
2015.02.14 00:20
답변 정말감사합니다 큰도움됬습니다
요새 추운날씨에 감기 조심하세요!
-
fjgal
2015.02.21 11:06
안녕하세요. 네이버 웹마스터도구는 사람을 미치게하네요..
로봇설정을 저렇게 해놓으면 기존에 수집되있는 문서는 제외가 안되나요?? 이상한 게시물들이 수천개가 되어서 검색제외 요청은 불가능해보입니다..
저 주소들은 왜 수집을 해가는지..
그리고 네이버 웹마스터도구에서 수집요청을 하면 예전에는 200이 잘 뜨다가 최근에 요청을하면 게시물들이 모두다 요청실패로 뜹니다..
핑전달은 잘되는데 색인은 0 이구요 정말 미치겠습니다 네이버에 문의해도 맨날 똑같은 매크로형식 답변.. '개별적인 사이트에대해 점검은 불가합니다, 도움말을 확인해주세요' 아니 예전하고 바뀐게없는데 수집요청은 안되고 네이버 웹문서 탭란에 미친글들 삭제해달라고 요청했는데 다 해주신줄 알았더니 아니었네요..
어떤 이유로 file_srl들이 링크가 걸린건지 확인하는게 우선일것 같습니다.
신디케이션이나 웹페이지에서 저렇게 file_srl 링크를 내보내 주는곳이 없을 텐데.. 왜 저런 링크가 외부에 보여지게 되었는지 알아 보세요.