묻고답하기
robots.txt에 대해서 문의드립니다
2015.07.23 17:31
신디케이션을 연동중인데
긁어가기를 도메인.com/xe/문서번호로 긁어가네요
근데 도메인.com/xe/문서번호와 같이 중복문서로 도메인.com/xe/게시판네임/문서번호
까지 같이 긁어가서 중복처리가 되네요
혹시 여기서 신디케이션봇만 긁어가게끔 할 수 없을까요?
네이버에 문의해보니 네이버봇,예티를 차단시키라는데
뭐가 신디케이션봇인지 알 수가 있어야지.. 그래서 뭐가 신디봇이냐고 물어보니까
똑같은 대답만 하네요;;;
아니면 robots.txt설정에서 도메인.com/xe/게시판네임/문서번호에서 게시판네임에서 컷하는 방법좀 알려주시면 감사하겠습니다
댓글 2
-
운ㅇ자
2015.07.23 17:45
똑같은 탭(블로그탭이나 웹문서탭) 내에서는 중복으로 사이트로직점수가 낮아진다네요
걍 신디봇이름과 그냥 웹문서긁어가는 봇 이름만 알려주면 될 텐데
그걸 안가르쳐주네요 ㅠㅠ
User-agent: *
Disallow: /xe/게시판이름1/
Disallow: /xe/게시판이름2/
이렇게 하면 일단 게시판이름이 포함된 주소를 제외할 수 있을 것 같긴 합니다.
그런데 XE는 기본적으로 게시판이름이 포함된 주소를 <link rel="canonical" /> 태그에 넣어주거든요. 그렇다면 게시판이름이 포함된 주소가 원본이고, 숫자만 있는 주소는 당연히 같은 페이지로 취급되어야 하는데... 왜 중복이라고 할까요? 네이버 신디케이션 로봇이 그렇게 멍청했던가 ㅠㅠ