묻고답하기
robots.txt 삭제 후에도 구글에서 검색 거부
2015.03.19 09:17
robots.txt 를 사용해서 모든 검색 봇을 거부했었는데
필요가 없어져서 사이트 루트의 robots.txt 를 삭제 했습니다.
애드온 형식으로 설치했던 봇 검색 제어 기능도 삭제한 상태입니다.
그런 이후 구글에서 사이트 맵을 제출하니
여전히 robots.txt 오류메세지를 보내고 있는데요
1.
robots.txt 삭제 후 곧바로 구글에서 적용이 안되는 건가요 ?
2.
검색 봇 접근을 막는 애드온에서 프로그램 삭제 이외에
수동으로 사이트에서 코드 부분을 제거해야 할 내용이 있을가요 ?
감사합니다.
1. 삭제하시시 마시고, allow 항목으로 구글봇 검색을 허용해주세요.
robots.txt가 삭제되기 전 내용에서 검색 거부였기에 바꾸시려면 삭제가 아니라 내용을 바꾸셔야 합니다.
(마지막 robots.txt 내용이 거부였으니 robots.txt 접근이 되지 않더라도 접근 거부로 보는 것이 아닐까 싶습니다)
구글 웹마스터 도구에 Crawl as googlebot 기능이 있으니 참고하시면 좋습니다.
2. 만일 구글봇의 IP까지 차단했다면 풀어주셔야 합니다.
이외에 애드온 등으로 설치하신것이 있다면 삭제/비활성화 해주시고요.