묻고답하기
page_full_width" class="col-xs-12" |cond="$__Context->page_full_width">
home page에 index, nofollow 처리를 하면?
2014.03.16 21:42
안녕하세요.
비밀 Page에, robots.txt와 Disallow 추가하고, meta tag에 noindex, nofollow 처리 하였습니다.
그런데도 다음봇께서, home page 게시판 링크가 있어서 , 비밀 page 제목을 긁어가서 어찌하나 싶네요.
home page meta tag에도 index, nofollow 추가하면 될런지 싶군요.
근데 이렇게 하면, home page를 제외하고 아무 곳도 크롤링 하지 않을까요?
정상적인 봇이라면 크롤링하지 않는 게 맞습니다.
다만, robots.txt 규약이나 meta 태그를 따르지 않는 경우도 있으니 이 점 유의하시기 바랍니다. 그런 경우에는 직접 해당 봇을 차단하셔야 합니다.