웹마스터 팁

  2. Support
  3. 웹마스터 팁

구글 네이버 검색 방지 로봇 robots.txt meta 태그

2013.12.05 13:49

jiom

구글 검색 방지하는 방법

연구실 홈페이지에 올려놓은 자료들이 구글 검색에서 상위 리스트에 보여지면서 좀 문제가 생겼다.

그래서 검색엔진에 노출되지 않도록 robots.txt 파일을 이용하여 검색엔진 로봇의 접근을 차단했다.

아래 글은 이에 해당하는 내용이다.

검색엔진에 노출되는 것을 제어하는 방법은 크게 두가지가 있다.

내가 사용한 robots.txt 파일을 이용하는 방법과 meta 태그를 이용하는 방법이 그것이다.

물론 아래의 2가지 방법은 검색엔진이 표준을 따르는 경우에 적용되는 것이고, 표준을 따르지 않는 로봇이라면 다 소용없는 일이기는 하다.

하지만 구글의 경우 이러한 방법으로 크롤링을 제어하는 것이 가능하다.

아래의 대부분의 내용도 구글의 웹마스터 도움말 센터의 내용을 참조한 것이다.

<robots.txt 파일을 이용하는 방법>

robots.txt 파일은 도메인의 루트에 있어야 하며 이름은 ‘robots.txt’여야 한다.

검색로봇은 해당 사이트의 루트에 있는 robots.txt파일을 우선 찾고 명시된 규약에 따라 사이트에서 정보를 수집하게 된다.

robots.txt 파일 생성 규칙은 다음과 같다.

User-Agent: 규칙의 적용을 받는 로봇
Disallow: 차단하려는 페이지
Allow: 허용하려는 페이지

User-Agent 행에는해당 규칙을 적용하고자 하는 로봇의 종류를 적어준다.

Disallow 행에는 차단할 페이지의 URL 혹은 패턴을 나열한다.

- 예를 들어 설명하자면

1. 모든 봇으로부터 사이트 전체 크롤링 차단

?[Copy to clipboard]View Code LANGUAGE
User-Agent : *
Disallow : /

2. 루트 아래의 abcd 디렉토리 및 디렉토리에 포함된 모든 항목 크롤링 차단

?[Copy to clipboard]View Code LANGUAGE
User-Agent : *
Disallow : /abcd/

3. 루트 아래의 index.html 페이지 크롤링 차단

?[Copy to clipboard]View Code LANGUAGE
User-Agent : *
Disallow : /index.html

4. 구글 검색 로봇만 차단하려면

?[Copy to clipboard]View Code LANGUAGE
User-Agent : Googlebot
Disallow : /index.html

5. 구글 봇이 특정 형식(예: .gif)의 파일을 크롤링하지 않도록 차단

?[Copy to clipboard]View Code LANGUAGE
User-Agent : Googlebot
Disallow : /*.gif$

*URL은 대소문자를 구분한다.
*Disallow 구문에서 슬래시(/)로 시작하는 것은 모든 하위 문서를 차단한다는 뜻이고 아무것도 쓰지 않으면 허가한다는 뜻이다.
즉, /…../는 디렉토리만 차단하는 것이고, /…. 는 디렉토리와 페이지를 차단한다는 의미
“Disallow : /abcd” 라고 적으면 abcd 디렉토리 뿐만 아니라 파일명이 abcd인 파일도 차단한다.

이밖에 패턴 일치를 적용하여 다양한 방법으로 접근 및 차단을 제어할 수 있다.

더 자세한 내용은 http://www.robotstxt.org 에 가면 볼 수 있다.

또한 구글 웹마스터센터의 해당 도움말 페이지에서도 볼 수 있으니 필요하신 분들은 참고하시길

http://www.google.com/support/webmasters/bin/topic.py?topic=8459

<meta 태크를 사용하여 페이지 차단 또는 삭제하기>

사이트 루트 접근 권한이 없는 경우에도 사용할 수 있는 방법이다.

자세한 내용은 http://www.robotstxt.org/wc/exclusion.html#meta 참조

1. 어떤 로봇도 사이트의 페이지에 대해 색인을 생성하지 못하게 하려면 페이지의 <HEAD> 섹션에 다음 메타 태그를 추가

<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>

2. Google 로봇을 제외한 다른 모든 로봇이 사이트의 페이지에 대해 색인을 생성하도록 허용

<META NAME=”Googlebot” CONTENT=”NOINDEX, NOFOLLOW”>

3. 로봇을 통해 사이트의 페이지에 대해 색인을 생성하고 외부와 연결된 링크를 따라가지 않도록 하려면

<META NAME=”ROBOTS” CONTENT=”NOFOLLOW”>

4. 로봇을 통해 사이트의 페이지에 대해 색인을 생성하고 해당 페이지의 이미지를 색인생성하지 않도록 하려면

<META NAME=”ROBOTS” CONTENT=”NOIMAGEINDEX”>




내용 사이트 http://blog.naver.com/PostView.nhn?blogId=0131v&logNo=110153394108

이 게시물을
좋아요
목록
제목 글쓴이 날짜
구글 네이버 검색 방지 로봇 robots.txt meta 태그 jiom 2013.12.05
누리CMS 에디터 잡 버그 있으신 분들 보세요. [2] explode 2013.12.03
SSL 적용시 작은 iframe 없애기 [1] file explode 2013.11.28
[수정] 댓글 삭제 간략화하기 [9] XE만세 2013.11.26
[수정]알림센터 Lite에 메일발송 기능을 추가하기 [11] file 매실茶 2013.11.25
'본문내 이미지 조절 애드온' 이 페이지모듈에서는 자동으로 작동 안 하게 하는 방법 sejin7940 2013.11.23
도메인이 바뀐후 기본 URL을 바꿨지만 2차메뉴의 링크는 바뀌지 않은 경우. [9] Ryuj 2013.11.20
모바일 게시판 사용시 글 수정 / 댓글 수정 누르면 <br/> 태그가 뜰때 팁 [12] 사쿠냥ㅋ 2013.11.19
레이아웃을 불려오지 않게 하는 코드 [4] 착한악마 2013.11.13
페이지로딩시 메모리 부족이란 오류메시지가 뜰때... 똑디 2013.11.07
에디터가 활성화 되지 않을시... [1] 똑디 2013.11.06
XE1.7 사이트맵에서 권한설정시 특정그룹을 선택해 등록하면 권한이 등록 안 되는 버그 수정법 (추가) sejin7940 2013.10.30
.htaccess 파일 관련 팁(웹 사이트 퍼포먼스 향상 및 트래픽 절감 효과) [21] file 서시빈목 2013.10.22
XE 로만든 앱 + 푸쉬기능 구현하기 (안드로이드) [53] file Xiso 2013.10.16
XE 1.7 에서 닉네임 클릭시 홈페이지나 블로그 등이 새창으로 안 뜨는 버그 수정법 [1] sejin7940 2013.10.07
썸네일 생성시 crop 이 상단 기준으로 생성되게 하는 방법 [5] sejin7940 2013.10.04
빠른 글 쓰기 - 메인 페이지에서 글 쓰기 [1] file 윈컴이 2013.09.23
Apache .htaccess 작성요령 [10] 컴매냐 2013.09.19
웹사이트 최적화 방법론 [4] 다크진 2013.09.17
XP + IE8 에서 갑자기 페이지 오류메시지가 뜰 경우 [1] file 다크진 2013.09.14
태그 쓰기