묻고답하기
로봇설정, 네이버 신디케이션 질문드립니다
2015.02.11 12:46
안녕하세요
이전에도 같은 내용의 질문글을 올렸으나 답변이 없으셔서 직접 검색도하고 노력도해봤지만
원하는 답을 얻을수 없었습니다..
현재 신디케이션 연동후에 저런 글들이 웹문서에 수없이 쌓여있어서 네이버에 메일을보내서 현재는 다사라진 상태이구요
아마 로봇 봇들이 긁어가는거같아서 전체차단으로 설정해두었습니다
현재 저 키워드로 검색시 웹문서 탭에는 저 이상한글들이 다 사라졌습니다
그런데 또다른 문제가 생겼습니다
제가 원하는 게시물들 즉, 키워드 검색시 네이버에 노출되는 글들을 수집요청하면 수집차단,거부를 합니다..
네이버봇만 접근ok하게 설정을 한다면 다시 저 이상한글들이 수없이 쌓일거같아서 무섭습니다
정말 간단하게라도 힌트라도 좋으니 답변 주시면 정말 감사하겠습니다.
댓글 5
-
akasima
2015.02.13 14:03
-
fjgal
2015.02.13 14:10
답변 주셔서 정말 감사합니다
저부분을 로봇으로 차단하려면 어떻게 할수있을까요..
제 사이트가 지금 주소.com/xe ~ 이렇게 되어있는데 저부분을 차단하려면 Disallow: xe/file_srl 이런식으로 하면 될까요?
-
몽실아빠
2015.02.13 14:18
저는 네이버는 위와 같은 현상이 없어서 별도 robots.txt에서 막지 않고 있는데요. 사이트 내부적으로 구글 검색을 이용하다보니 검색했을때 검색결과가 여러게 나와서 제가 차단을 한 방법이 있습니다.
Disallow: /*?
주소에 물음표가 들어가면 봇이 접근하지 않는것인데요. 요게 꽤 효과가 있습니다.
사이트에 방문자가 검색창에 검색어를 입력했을때 XE의 기본 주소형식인 /abc/1234 와 /index.php? 이런 형태의 주소까지 모두 나열하니 동일 문서가 여러게 검색자에게 노출되는 상황입니다.
그래서 저는 물음표 들어간 주소는 구글봇에게는 제한하고 있습니다.
-
fjgal
2015.02.14 00:20
답변 정말감사합니다 큰도움됬습니다
요새 추운날씨에 감기 조심하세요!
-
fjgal
2015.02.21 11:06
안녕하세요. 네이버 웹마스터도구는 사람을 미치게하네요..
로봇설정을 저렇게 해놓으면 기존에 수집되있는 문서는 제외가 안되나요?? 이상한 게시물들이 수천개가 되어서 검색제외 요청은 불가능해보입니다..
저 주소들은 왜 수집을 해가는지..
그리고 네이버 웹마스터도구에서 수집요청을 하면 예전에는 200이 잘 뜨다가 최근에 요청을하면 게시물들이 모두다 요청실패로 뜹니다..
핑전달은 잘되는데 색인은 0 이구요 정말 미치겠습니다 네이버에 문의해도 맨날 똑같은 매크로형식 답변.. '개별적인 사이트에대해 점검은 불가합니다, 도움말을 확인해주세요' 아니 예전하고 바뀐게없는데 수집요청은 안되고 네이버 웹문서 탭란에 미친글들 삭제해달라고 요청했는데 다 해주신줄 알았더니 아니었네요..
어떤 이유로 file_srl들이 링크가 걸린건지 확인하는게 우선일것 같습니다.
신디케이션이나 웹페이지에서 저렇게 file_srl 링크를 내보내 주는곳이 없을 텐데.. 왜 저런 링크가 외부에 보여지게 되었는지 알아 보세요.