묻고답하기
page_full_width" class="col-xs-12" |cond="$__Context->page_full_width">
IIS에서의 봇 차단 문의
2019.09.25 01:41
안녕하세요?
요즘 사이트가 페이지 이동하다 보면 랜덤하게 500에러가 나는경우가 있어 로그를 봤더니 AhrefsBot 봇으로 들어오는 사례가 많아 robot.txt에
User-agent: AhrefsBot
Disallow: /
User-agent: *
Allow:/
Disallow: /admin/
를 추가해 놓은 상태입니다.
서버를 내렸다 올려서 그런지 현재는 문제가 없으나 IIS 로그를 보면 여전히 status는 200인 상태로 로그는 계속 찍히고 있는데요..
서버를 내렸다 올리면 하루정도는 괜찮은데 몇시간 지나면 여전히 랜덤하게 500에러를 내거든요..
robot.txt가 제대로 작동하고 있는건가해서요..
감사합니다.