웹마스터 팁
검색 로봇 막기 (검색 bot 막기)
2013.12.05 13:53
robots.txt 사용하려면 홈페이지 최고 상단 / 에 올려놓으시면됩니다.
참고로 robots.txt 있다고 해서 모든 로봇을 막을수는 없습니다.
그냥 뚤고 지나가는 로봇도 있습니다.
* 아래와 같이 설정하시면 모든 검색엔진에 대해서 막는다는 뜻입니다.
robots.txt
----------------------
User-agent: *
Disallow: /
----------------------
모든 검색엔진 허용하기
---------------------
User-agent: *
Disallow:
-------------------
특정 검색엔진 막기
아래와 같이 특정 검색 로봇 이름명을 적어주시면됩니다.
//네이버 로봇 막기
---------------------
User-agent: cowbot
Disallow: /
-------------------
//구글 로봇 막기
--------------------
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Image
Disallow: /
-------------------
파일확장자로 막기
-----------------
User-agent: *
Disallow: /*.jpg$
Disallow: /*.gif$
Disallow: /*.png$
--------------------
특정 검색엔진 허용하기
/ 없어졌죠!!
----------------------------
User-agent: Googlebot // 구글
Disallow:
-----------------------------
---------------------------------
User-agent: Googlebot-Image //구글
Disallow:
------------------------------
홈페이지 일부만 검색엔진 허용
---------------------------------
User-agent: *
Disallow: /myhome/photo/
Disallow: /myhome/
------------------------------
내용사이트 http://xinet.kr/tc/99
댓글 0
제목 | 글쓴이 | 날짜 |
---|---|---|
[수정] 댓글 삭제 간략화하기 [9] | XE만세 | 2013.11.26 |
SSL 적용시 작은 iframe 없애기
[1]
![]() | explode | 2013.11.28 |
누리CMS 에디터 잡 버그 있으신 분들 보세요. [2] | explode | 2013.12.03 |
구글 네이버 검색 방지 로봇 robots.txt meta 태그 | jiom | 2013.12.05 |
검색 로봇 막기 (검색 bot 막기) | jiom | 2013.12.05 |
[속도UP팁] 최근게시물 위젯 속도개선 [5] | 소렌트. | 2013.12.09 |
XE 코어 1.7 버전에서 최근이미지 출력하기
[1]
![]() | 때린데 또때려 | 2013.12.14 |
레이아웃 css 쉽게 수정하는 방법 (개발자모드 이용)
[1]
![]() | 멀티비타민 | 2013.12.29 |
에디터로 글 작성시 폰트 크기가 12px로 변경되는 현상 해결방법
[7]
![]() | jambox | 2013.12.31 |
나만의 익명게시판에서 닉네임 확인하는 방법(꼼수라고 밝힙니다.) [5] | 착한부산남자 | 2014.01.03 |
홈페이지 접속자, 글(댓글) 작성자 국가 국기 표시 적용 방법
[19]
![]() | 라싸 | 2014.01.08 |
XE 전체 타이틀(title) 수정하기 [3] | pezex | 2014.01.16 |
메뉴추가가 안돼요.
[2]
![]() | 궁굼자 | 2014.01.20 |
회원도 모듈별 적용된 포인트 보게하는 방법. [11] | :DunhillBoy | 2014.02.01 |
관리자화면 상단의 업데이트 해야할 항목 안내문구 안 나오게 하는 방법 [1] | sejin7940 | 2014.02.04 |
통합검색할때 회원별 권한에 따라 내용 보여주기 | garnecia | 2014.02.07 |
1.7.4 - 페이지나 게시판 생성 후 설정화면에 가면 '사이트기본스킨사용' 이 적용되지 않는 버그 해결법 | sejin7940 | 2014.02.08 |
그룹아이콘 모바일에서 표시하기 | 잉카러부 | 2014.02.09 |
마우스드래그금지 | 레치에스 | 2014.02.11 |
2014년 2월 12일부터 갑자기 사이트(관리자 페이지)가 깨지는 경우. | 새하나모 | 2014.02.12 |