묻고답하기
구글 검색 삭제에 관해서
2014.07.10 13:57
구글 검색엔진에 노출이 되어 삭제 방안을 찾다가 robots.txt 와 meta에 대해 알게되었는데요
젤 처음에는 robots.txt 로 해서 구글에 오래된 페이지 삭제로 전부 삭제를 시켰습니다.
그래서 site:주소명 검색시 안나오다가 하루 지나니 또 검색이 되네요? --;
그래서 찾은게 이번에는 index.html 에 아래 내용을 첨부했습니다.
(주소 고정을 위해 프레임으로 나눈거라서)
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
그래서 최종 상태는 robots.txt 의 내용은 아래와 같고
User-agent:*
Disallow:/
Crawl-delay: 120
index.html 에는 저 메타태그를 추가시켰는데도 불구하고.. 시간이 지나면 야금야금 삭제요청 했던 페이지들이
계속 구글 검색에 노출이 되는데요 이거 완전히 삭제 하는방법 없나요?
구글링을 해보니 로봇은 전부 허용을 하고 메타태그를 저렇게해야 크롤링 후에 색인이 안된다고 해서
Disallow: 로 변경해서 하루 나뒀더니(메타 태그는 그대로) 구글검색에 엄청나게 또 표시가 되네요 -_-
그래서 지금은 로봇, 메타를 크롤링, 색인 못하도록 해놨는데 이거 해결법 알려주세요 ㅜㅜ
질문이 두서없긴 한데 이해 부탁드립니다,.
댓글 4
-
HSJI
2014.07.10 14:40
-
머리아프다잉.
2014.07.10 18:14
답변 감사드립니다. 새로 작성한 게시글은 검색에 노출이 되지는 않는데 문제는 기존에 남아있던 글들을 클릭하면
새로 만든 홈피로 자동으로 연결이 되서 공개가 되면 안되는것도 같이 공개가 되니 난감하네요
-
HSJI
2014.07.11 00:27
가장 빨리 검색에서 삭제하려면
오래된 컨텐츠 삭제로 이미 크롤링 된 페이지들을 일일히 다 삭제하셔야 합니다.
한번 삭제한 페이지(동일 url)는 검색에 뜨지 않습니다.
위에도 언급했지만 같은 페이지라도 다른 url을 가지면 다른페이지로 인식해서 계속 뜨니깐
일일히 다 찾아서 삭제하면 됩니다.
txt로 크롤링 허용 & 메타테그로 인덱싱 차단으로 놔두면 천천히 없어지긴 합니다. (오래걸립니다.-_-)
-
머리아프다잉.
2014.07.11 13:41
답변 감사드립니다. 지금 site:주소명으로 검색해서 나오는거 삭제하고 하루 지나면 또 나와서 또 삭제요청하고 반복적으로 하고 있는데 이걸 대체 언제까지 해야하는지 모르겠네요 ㅠㅠ 게다가 구글 말고도 다른곳에서 크롤링한것도 다시 구글에서 크롤링해오니 .. 아무튼 답변 감사드립니다 ^^
robots.txt 에서 크롤링을 차단하더라도 다른 링크가 있다면 색인생성되어 검색이 될 수있습니다.(내용은 차단되어 내용없이 색인만 나옵니다.)
또한 robots.txt 작성 이전에 크롤링 된 것은 검색페이지에 남아있습니다.(저장된 페이지 형태로 남아있습니다)
https://support.google.com/webmasters/answer/156449?hl=ko
그리고 동일페이지라도 url이 다르면 다른 페이지로 인식하여 검색됩니다.
https://support.google.com/webmasters/answer/1235687?hl=ko
머리아프다잉 님의 상황은
이미 메타테그와 robots.txt 로 막혀있지만
예전에 각각 다른 url로 저장됐던 페이지가 검색시 나타나는것 같습니다.
저도 만든 지 얼마안된 홈페이지(메뉴10개 중 게시판2개에 글 10여개)가 모두 다른 url로써 (짧은주소, 긴주소, 모듈이름, srl번호 순서 등의 조합) 약 400페이지로 나타나더군요.
robots.txt 나 메타테그 적용 후 작성한 "새글"이 검색에 나타나는지 확인해 보시기 바랍니다.
그리고 robots.txt의 Crawl-delay: 120은 안쓰셔도 됩니다.