robots.txt 에 대해서 아시는 분 계시죠?

최근에 제 홈페이지에 한개의  IP로 하루에 600회정도 접속한 기록이 생기길래..
알아봤더니...
검색엔진의 Robot이 한 짓인거 같더군요..

그래서 그런걸 막으려면 robots.txt에 설정을 해주면 되더군요..

그래서 robots.txt 파일을 루트에 만들어서 조치를 해 놓긴 했습니다.



그런데...
제가 하고 싶은거는...
검색 Robot을 식별하여 어떤 것은 차단하고 어떤것은 허용하고 싶습니다.

검색 Robot을 모두 차단해버리면 제 홈페이지가 검색페이지에 잘 안뜨게 되는 것 아닙니까?
그래서 Robot들을 선별하고 싶은 것입니다.

제 홈페이지를 방문하는 Robot이 어떤 Robot 인지 알 수 있을까요?

그걸 알면...robots.txt에서 설정해서 제가 선별해서 허용하던지 차단하던지 할텐데요..

n@log를 쓰고 있지만... 거기 방문기록에는 IP 정보뿐이네요.....
218.159.167.148 <==== 이 IP가 계속 방문 하네요... 수천번....
이 IP가 어떤 robot 인지 알고 싶은데...

그런 방법이 있는지요..
아마 있으리라 생각합니다. 그런 방법이 있으니 robots.txt에서 robot마다 선별해서 허용,차단 하는 방법도 존재하는 것 아니겠습니까?