robots.txt 사용하려면  홈페이지 최고 상단 / 에 올려놓으시면됩니다. 
참고로 robots.txt 있다고 해서 모든 로봇을 막을수는 없습니다. 
그냥 뚤고 지나가는 로봇도 있습니다. 


* 아래와 같이 설정하시면 모든 검색엔진에 대해서 막는다는 뜻입니다. 

robots.txt 
---------------------- 
User-agent: * 
Disallow: / 
---------------------- 

모든 검색엔진 허용하기 
--------------------- 
User-agent: * 
Disallow: 
------------------- 

  

특정 검색엔진 막기 
아래와 같이 특정 검색 로봇 이름명을 적어주시면됩니다. 

//네이버 로봇 막기 
--------------------- 
User-agent: cowbot 
Disallow: / 
------------------- 

//구글 로봇 막기 
-------------------- 
User-agent: Googlebot 
Disallow: / 
User-agent: Googlebot-Image 
Disallow: / 
------------------- 

파일확장자로 막기 
----------------- 
User-agent: * 
Disallow: /*.jpg$ 
Disallow: /*.gif$ 
Disallow: /*.png$ 
-------------------- 




특정 검색엔진 허용하기 

/ 없어졌죠!! 

---------------------------- 
User-agent: Googlebot  // 구글 
Disallow: 
----------------------------- 


--------------------------------- 
User-agent: Googlebot-Image  //구글 
Disallow: 
------------------------------ 



홈페이지 일부만 검색엔진 허용 

--------------------------------- 
User-agent: * 

Disallow: /myhome/photo/ 
Disallow: /myhome/ 
------------------------------

내용사이트 http://xinet.kr/tc/99