웹마스터 팁

robots.txt 사용하려면  홈페이지 최고 상단 / 에 올려놓으시면됩니다. 
참고로 robots.txt 있다고 해서 모든 로봇을 막을수는 없습니다. 
그냥 뚤고 지나가는 로봇도 있습니다. 


* 아래와 같이 설정하시면 모든 검색엔진에 대해서 막는다는 뜻입니다. 

robots.txt 
---------------------- 
User-agent: * 
Disallow: / 
---------------------- 

모든 검색엔진 허용하기 
--------------------- 
User-agent: * 
Disallow: 
------------------- 

  

특정 검색엔진 막기 
아래와 같이 특정 검색 로봇 이름명을 적어주시면됩니다. 

//네이버 로봇 막기 
--------------------- 
User-agent: cowbot 
Disallow: / 
------------------- 

//구글 로봇 막기 
-------------------- 
User-agent: Googlebot 
Disallow: / 
User-agent: Googlebot-Image 
Disallow: / 
------------------- 

파일확장자로 막기 
----------------- 
User-agent: * 
Disallow: /*.jpg$ 
Disallow: /*.gif$ 
Disallow: /*.png$ 
-------------------- 




특정 검색엔진 허용하기 

/ 없어졌죠!! 

---------------------------- 
User-agent: Googlebot  // 구글 
Disallow: 
----------------------------- 


--------------------------------- 
User-agent: Googlebot-Image  //구글 
Disallow: 
------------------------------ 



홈페이지 일부만 검색엔진 허용 

--------------------------------- 
User-agent: * 

Disallow: /myhome/photo/ 
Disallow: /myhome/ 
------------------------------




내용사이트 http://xinet.kr/tc/99

제목 글쓴이 날짜
우편번호 자체DB(csv변환)이용하기 [3] file 인터니즈3 2013.12.23
하나의 호스팅 공간에서 여러개의 xe 사용하기 file 고마워XE 2013.12.19
눈 내리기 [2] 강하레 2013.12.22
익명게시판에서 회원 구분 가능하게 + 각 게시물에서 다른 아이디가 나타나게 하는 방법 [3] jn4kim 2013.08.06
nitrous.io 서버 간혈적으로 꺼질때 해결법 [3] 노리넷[썰코] 2013.12.09
트랙백 기능 자체를 사용 안하기 [4] 윈컴이 2013.05.21
XE 1.7 대버전에서 board 게시판생성 하는방법 [4] file 때린데 또때려 2013.12.03
[속도UP팁] 최근게시물 위젯 속도개선 [5] 소렌트. 2013.12.09
구글 검색 상위 노출 팁 중 한가지 [4] 다크진 2013.12.02
구글 네이버 검색 방지 로봇 robots.txt meta 태그 jiom 2013.12.05
검색 로봇 막기 (검색 bot 막기) jiom 2013.12.05
누리CMS 에디터 잡 버그 있으신 분들 보세요. [2] explode 2013.12.03
XE 지식인 모듈에서 일반 게시판처럼 검색하기 [3] explode 2013.12.02
XE 1.7 에서 사이트맵에서 '메뉴 노출 대상' 설정할때 복수 그룹 선택시 에러 수정법 [1] sejin7940 2013.12.01
소셜 XE 페이스북 로그인 에러 해결 방법 file 신평 2013.11.30
라르게덴님의 Xpresseditor + AXISJ AXUpload5(HTML5)와 mex_default 스킨 [5] 투씨 2013.11.29
팝업묘듈/팝업애드온 사용시 창이동 안될때.. [2] 착한악마 2013.11.29
cafeXE 위젯 설정에서 대상모듈 저장이 안 되는 경우 투씨 2013.08.02
레이아웃을 불려오지 않게 하는 코드 [4] 착한악마 2013.11.13
multimedia file 첨부 시 자동으로 jw player 로 설정 더뿌 2013.11.27