웹마스터 팁
검색 로봇 막기 (검색 bot 막기)
2013.12.05 13:53
robots.txt 사용하려면 홈페이지 최고 상단 / 에 올려놓으시면됩니다.
참고로 robots.txt 있다고 해서 모든 로봇을 막을수는 없습니다.
그냥 뚤고 지나가는 로봇도 있습니다.
* 아래와 같이 설정하시면 모든 검색엔진에 대해서 막는다는 뜻입니다.
robots.txt
----------------------
User-agent: *
Disallow: /
----------------------
모든 검색엔진 허용하기
---------------------
User-agent: *
Disallow:
-------------------
특정 검색엔진 막기
아래와 같이 특정 검색 로봇 이름명을 적어주시면됩니다.
//네이버 로봇 막기
---------------------
User-agent: cowbot
Disallow: /
-------------------
//구글 로봇 막기
--------------------
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Image
Disallow: /
-------------------
파일확장자로 막기
-----------------
User-agent: *
Disallow: /*.jpg$
Disallow: /*.gif$
Disallow: /*.png$
--------------------
특정 검색엔진 허용하기
/ 없어졌죠!!
----------------------------
User-agent: Googlebot // 구글
Disallow:
-----------------------------
---------------------------------
User-agent: Googlebot-Image //구글
Disallow:
------------------------------
홈페이지 일부만 검색엔진 허용
---------------------------------
User-agent: *
Disallow: /myhome/photo/
Disallow: /myhome/
------------------------------
내용사이트 http://xinet.kr/tc/99
댓글 0
제목 | 글쓴이 | 날짜 |
---|---|---|
사이트 이전팁( files 폴더) [6] | 샤이니라 | 2009.01.28 |
XE1.1.5로 업후 기존변형위젯들이 문제를 일으킬때 수정방법 [1] | 팔공산 | 2009.01.28 |
[강추]!! 긁어와서 [자동]으로 게시글로!! [메타 블로그] php 로 넣기!!! xe블로그api를 이용한.. [51] | 김기철980 | 2009.01.29 |
menu 무제한으로 단계(depth) 표시하기. [5] | 라르게덴 | 2009.01.29 |
최근 게시물 출력시 카테고리(분류) 표시하기.. [5] | 엘카인 | 2009.01.30 |
외부페이지 또는 파일링크시 글자깨짐 현상 [1] | 소백산 | 2009.01.31 |
신고 수가 일정 수 이상 되면 특정 게시판으로 이동시키기 [6] | SMaker | 2009.02.01 |
관리자 여러명 만들기 팁 [1] | 만쓰별(정만) | 2009.02.03 |
한글도메인(.kr) 사용시 링크걸기 [3] | serendip | 2009.02.04 |
상담게시판 바로 글쓰기 이동하기 팁.. [3] | 만쓰별(정만) | 2009.02.05 |
png파일 제어 ie6투명버그 해결책이 될듯도 한데염 [7] | 만쓰별(정만) | 2009.02.05 |
날짜 부분에 시간도 같이 표시하기 [1] | 소백산 | 2009.02.05 |
1.1.5 버전에서 로고가 나타나지 않는 문제 | gotomoon | 2009.02.06 |
윈도우 서버에서 XE 업데이트 어려움... [2] | 윤임수 | 2009.02.06 |
나만의 카운터를 만들어보자! [3] | 데미안k | 2009.02.08 |
D-DAY 플래시 | 세츠카 | 2009.02.09 |
드림위버에서 제로보드 XE 레이아웃 편집하기 [4] | 샤릉해 | 2009.02.10 |
첨부파일 보이기 숨기기 옵션추가 [18] | ☜ TeRy ☞ | 2009.02.10 |
완벽하게 XE폴더를 url에서 접속하기 [2] | 팬텀MW | 2009.02.10 |
게시판에서 사이트 관리자만 볼수있는 항목 만들기 [1] | ☜ TeRy ☞ | 2009.02.13 |