말 그대로입니다. 어제 비밀글이 등록되어서 게시판 이동하고

답변했는데 암호가 걸린 비밀글을 신디케이션으로 크롤링해 갔습니다.

네이버에서 site:forum.ripplekorea.net 해서 맨 마지막 페이지를

보시면 크롤링해간게 보입니다. robots.txt에서 허용하고 있는

봇은 naverbot, cowbot, yeti 이 세가지 전부입니다.

robots.txt 에서 막으면 로봇의 접근자체가 불가능하므로

이 방법말고 다른 적절한 방법이 있을까요?