묻고답하기
robots.txt 에대한 질문좀;;
2013.09.23 16:45
기본적으로
User-agent: *
Disallow:
이처럼 허용을 해놓고 있죠. 여기서 크롤링을 못하게 특정 폴더/페이지 주소를 넣으려고 합니다.
1.번 질문
Disallow: /index.php?mid=freeboard/
이처럼 끝에 / 를 붙이고 안붙이는 차이점이 정확히 모르겠네요..
만약 붙이지 않고 Disallow: /index.php?mid=freeboard
이렇게만 했다면 freeboard게시판만 크롤링을 안한다는건가요?
특정 게시판 전체를 차단 하려고 하면
/index.php?mid=freeboard/ 이게 맞는건지
/index.php?mid=freeboard 이게 맞는건지 아리송하네요..
2.질문
만약 html 문서로 따로 만든 페이지를 검색하지 않게 하려면
Disallow: /xe/layouts/xe/0.html
이렇게 적용하면 되는게 아니던가요?
이상하게 해놓았는데도 검색이 되더라구요...
댓글 5
-
도라미님 답변너무 감사합니다~ 구굴링검색으로 다 알아보긴 했지만 혹시나 해서 한번더 확인차..
이렇게 답변을 받으니 " 음.. 좋아~ 확신이 드는군! " 라며 감사해하고 있답니다~
2번질문에서는 역시 시간이 많이 걸리는가보네요..4달째...검색이 된다는게 함정;;;;
그래서 혹시나 제가 잘못작성했한게 아닌가 싶어서 문의~ ^^;;;
답변 완전 감사합니다~^^ 복많이 받아실거예요~~ (저한테 달라고는 하지마셔용 줄 "복"이 없답니다.)
-
빛의바다
2013.09.23 18:44
1번 질문 같이 해도 게시판 차단이 되는가보군요^^;
전 해당 게시판에
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW"> 를 넣었습니다 -ㅁ-
-
위즈버
2013.09.24 00:14
Disallow: &act=dispBoardDelete/Disallow: /&act=dispMemberSignUpForm/Disallow: /&act=dispMemberFindAccount/Disallow: /&act=dispBoardAdminMobileSkinInfo/Disallow: /&act=dispBoardAdminCategoryInfo/Disallow: /&act=dispBoardAdminMobileSkinInfo/Disallow: /&act=dispDocumentAdminDeclared/Disallow: /&act=dispBoardAdminBoardAdditionSetup/Disallow: /&act=dispBoardWrite/Disallow: /&act=dispSocialxeLogin/Disallow: /&act=dispBoardTagList/Disallow: /&act=dispTrashAdminList/Disallow: /&act=dispBoardAdminExtraVars/Disallow: /?act=dispPageAdminContentModify/Disallow: /act=dispMemberSignUpForm/Disallow: /act=dispMemberFindAccount/Disallow: /act=dispBoardAdminMobileSkinInfo/Disallow: /act=dispBoardAdminCategoryInfo/Disallow: /act=dispBoardAdminMobileSkinInfo/Disallow: /act=dispDocumentAdminDeclared/Disallow: /act=dispBoardAdminBoardAdditionSetup/Disallow: /act=dispBoardWrite/Disallow: /act=dispSocialxeLogin/Disallow: /act=dispBoardTagList/Disallow: /act=dispTrashAdminList/Disallow: /act=dispBoardAdminExtraVars/Disallow: /act=dispPageAdminContentModify/Disallow: /act=dispBoardDelete/자주 검색에 수집되는 것도 추가해주세요..위 것들이 수집되어서 지우느라 시간좀 걸렸네요.. -
헐~ 이거 완전 좋으네요~ 일일이 하나씩 찾아서 하기가 귀찮아서 안하고 있었는데~ 완전 고마워용 ㅎㅎ
혹시 루트 > xe 에 설치가 되어있다면
Disallow: /xe/act=dispBoardDelete/
이렇게 넣어줘야하나요?
1.번 질문
Disallow: /index.php?mid=freeboard/
이처럼 끝에 / 를 붙이고 안붙이는 차이점이 정확히 모르겠네요..
만약 붙이지 않고 Disallow: /index.php?mid=freeboard
이렇게만 했다면 freeboard게시판만 크롤링을 안한다는건가요?
Disallow: /index.php?mid=freeboard/ 는 index.php?mid=freeboard 라는 폴더에 봇을 차단하는겁니다.
Disallow: /index.php?mid=freeboard 는 이 페이지에 대하여 봇을 차단하겠다는 뜻입니다.
특정 게시판 전체를 차단 하려고 하면
/index.php?mid=freeboard/ 이게 맞는건지
/index.php?mid=freeboard 이게 맞는건지 아리송하네요..
/index.php?mid=freeboard 도 입력하시고, /freeboard 도 같이 적어주시는게 좋습니다.
2.질문
만약 html 문서로 따로 만든 페이지를 검색하지 않게 하려면
Disallow: /xe/layouts/xe/0.html
봇은 다시방문했을때, robots.txt를 읽고 검색결과에서 삭제합니다. 그래서 한번 등록된 자료는 빨리 지워지진 않습니다.