묻고답하기
검색로봇 혹은 외부에서 검색이 되지 않게 하려면?
2008.09.08 10:43
제목 그대로입니다.
오늘 출근해서 보니 제가 만들고 있는 사이트에 조회건수가 무지하게 많이 올라갔더라구요.
사실은 회사내 커뮤니티를 위해서 만든 것이라서 검색(구글이나 다음 등의 검색)에 노출되지 않았으면 합니다.
robot.txt를 어떻게 해야 된다는 것만 알고 있는데,
정확히 어떻게 해야 하는지는 검색해도 알 수가 없군요.
구체적으로 설명해주실 분?
오늘 출근해서 보니 제가 만들고 있는 사이트에 조회건수가 무지하게 많이 올라갔더라구요.
사실은 회사내 커뮤니티를 위해서 만든 것이라서 검색(구글이나 다음 등의 검색)에 노출되지 않았으면 합니다.
robot.txt를 어떻게 해야 된다는 것만 알고 있는데,
정확히 어떻게 해야 하는지는 검색해도 알 수가 없군요.
구체적으로 설명해주실 분?
댓글 3
-
조화석습
2008.09.08 16:52
답변 감사합니다.
그냥 달랑 두 줄이면 되는건가요?
무식해서 이런 용감한 질문을 하게 됩니다. ^-^ -
robots.txt를 따르는 대부분의 정상적인(?) 검색엔진은 설정을 따르게됩니다.
spam spider나 기타 bad bot(?)들이라면 보통 robots.txt를 요청하지도 따르지도 않을것입니다.
모든 검색엔진을 거부하려면 아래처럼 작성합니다.
User-agent: *Disallow: /
아래는
약간의 정보(?)가 있는 링크입니다.http://free4u.dnip.net/weblog/983