묻고답하기
검색 봇들 때문에 아주 미치겠습니다.
2014.08.09 22:05
검색 봇들이 짜구 들어와
Robots.txt로 막아두었는데
이렇게 하니 모든 검색봇들이 다 막혀서,
네이버 구글, 다음 등 유익한 검색봇들이 들어오지 못하더라구요 ㅜㅜ
검색봇 제한을 풀면 확실히 웹문서 검색에 노출이되는데..
고수님들 특정 봇들만 제한에서 푸는 방법 좀 부탁드립니다.
감사합니다.
2014.08.09 22:05
검색 봇들이 짜구 들어와
Robots.txt로 막아두었는데
이렇게 하니 모든 검색봇들이 다 막혀서,
네이버 구글, 다음 등 유익한 검색봇들이 들어오지 못하더라구요 ㅜㅜ
검색봇 제한을 풀면 확실히 웹문서 검색에 노출이되는데..
고수님들 특정 봇들만 제한에서 푸는 방법 좀 부탁드립니다.
감사합니다.
User-agent: *
Disallow: /
User-agent: GoogleBot
Allow: /
User-agent: Yeti
Allow: /
User-agent: NaverBot
Allow: /
User-agent: DAUMOA
Allow: /
참조 https://support.google.com/webmasters/answer/6062596?hl=ko&ref_topic=6061961
robots.txt나 메타테그를 무시하는 봇들도 많습니다.
리퍼러 애드온을 까셔서 접근하는 봇들의 ip나 agent명을 확인하신후
.htaccess 에서 ip차단하시거나 아래 예처럼 user-agent로 차단 해보세요.
RewriteCond %{HTTP_USER_AGENT} (.*)ZmEu(.*) [OR,NC]
RewriteCond %{HTTP_USER_AGENT} (.*)scan(.*) [OR,NC]
RewriteCond %{HTTP_USER_AGENT} (.*)stats(.*) [NC]
RewriteRule ^.* - [F,L]