User-agent: *

Disallow: /*#

이걸 추가해보세여 

댓글의 경우

http://주소/876034#comment_882753

이런시긍로 나오던데

위의방법은 #이 포함된 문자는 크롤링을 하지않는 방법입니다

robots.txt 에서 크롤링을 차단하더라도 다른 링크가 있다면 색인생성되어 검색이 될 수있습니다.(내용은 차단되어 내용없이 색인만 나옵니다.)

또한 robots.txt 작성 이전에 크롤링 된 것은 검색페이지에 남아있습니다.(저장된 페이지 형태로 남아있습니다)

https://support.google.com/webmasters/answer/156449?hl=ko

검색 차단하려는 페이지를 robots.txt로 막아놨다면 구글 로그인 후

오래된 콘텐츠 삭제 에 가셔서 등록하면 하루 정도 지나고 검색페이지가 삭제됩니다.

등록 안더라도 꽤 오랜시간이 지나면 저절로 삭제됩니다(수개월)

검색에 드러나지 않게 하려면 robots.txt를 이용하지 않고 meta테그만 써서 크롤링은 허용하고 인덱싱을 막는 방법이 제일 좋습니다. http://www.seo-korea.com/robots-txt-%ED%8C%8C%EC%9D%BC%EA%B3%BC-meta-robots-%ED%83%9C%EA%B7%B8%EC%9D%98-%EC%B0%A8%EC%9D%B4%EC%A0%90/

하지만 트래픽문제나 크롤링이 싫어서 원천 차단하고 싶으시면

robots.txt, meta테그, .htaccess에 ip차단 등으로 전부 막아놓고 이미 저장된 예전 검색기록은 수동으로 삭제하시는게 좋겠네요.

쓰고보니 2013년 글이네요 -_-;;