포럼

우연히 nginx 로그를 보다 참 노라운것을 발견했습니다,
66.249.71.197 - - [15/Sep/2011:18:14:23 +0800] "GET /2409/0c9/trackback HTTP/1.1" 404 169 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
구글이 방문한 로그인데요, 왜 /2409/0c9/trackback 경로를 방문하죠? 

그러고 보니 구글봇이 방문한 로그중 대부분이 이런 문제로그더군요,

그래서 에러로그를 확인해본결과 더 놀랍더군요 , 해당 페이지는 찾을수 없는 페이지 임으로 모두 구글봇이 방문한 에러,

여기서 질문이 생기죠, 소스를 본 결과 페이지에 이런 링크를 생성할만한 소스는 없는데 입구가 어디죠?


그리고 다른 로그도 보니 회원가입페이지,로그인페이지,글쓰기 페이지   쉬도때도 없이 봇이 방문하던데,

문제는 여기서 시작이네요, 봇이 방문하는 속도는 홈페이지 규모에 따라 다릅니다,

SEO의 기초는 최대한 많은 정확한 페이지를 검색엔진이 수록하는거죠,

그럼 소형 규모의 홈피에 구글봇이 하루에 2000페이지를 방문한다고 가정하면

여기서 위와 같은 에러 때문에 정상수록하지 못하는게 운영자에겐 엄청난 피해라고 생각합니다.

그래서 지금 robots.txt 작성해서 본문페이지,페이지,게시글리스트 만 방문할수 있도록 작성할려구 하는데

생각보다 쉽지가 않네요, 액션중에 참 많은 액션이 검색엔진에겐 쓸모 없는 페이지인데,


그래서 말인데 좀더 전문적인 분이 SEO방면을 잘 고려해서 훌륭한 robots.txt를 작성하고

운영진이 이 robots.txt를 정식버전에 추가하면 어떨까 생각합니다


전 일단 임시로 하나 만들어서 설정해야하겠네요 ,


여기서 질문:

/index.php?mid=dom&act=dispBoardWrite 라면dispBoardWrite가 들어간 모든 링크 접근 금지 할려면


어떻게 설정해야하죠?


User-agent: *
Disallow: /*dispBoardWrite

이렇게 설정하는게 맞는지 궁금합니다

금방 효과가 나타나지 않으니까 답답하네요

글쓴이 제목 최종 글
Treasurej css3 rgba를 ie8이하에서 filter로 쓰느냐 png투명이미지로 쓰느냐  
sejin7940 제작의뢰 사기 사건에 관한 몇가지 의견 적어봅니다. ^^; [3] 2011.09.17 by ForHanbi
루큐모닷컴 1.5 배타 출시 예정이.. [5] 2011.09.17 by Garon
착한악마 1.5 설치하려 하니.... [4] 2011.09.17 by 착한악마
하늘종 [묻고 답하기] 개선 건의 [6] 2011.09.16 by 하늘종
난다날아 [완료] 9월 16일 현재 쉬운설치 오류 수정 중입니다. [2] 2011.09.16 by natura
해커다 검색엔진 봇에 관한 질문과 XE에 대한 의견 [1] 2011.09.16 by 비밀얌
amd짱좋아 구글로 옮기고 나서 버그 신고가 확 줄어든것 같네요. [1] 2020.03.14 by 씨지크
박노열 xe1.5의 사용전 의견(사전 질답을 할 수 없어서)을 듣고 싶습니다. [11] 2011.09.14 by 비나무
Zephry 모바일 사진 파일 첨부 기능 [3] 2011.09.13 by 차수일
시니시즘 영어_숫자 형식의 class를 가진 div를 클릭할 경우 이상한 에러  
대박물관 'POWERED BY'를 제발 수정하지맙시다! [3] 2011.09.11 by ForHanbi
송지한 메인메뉴 권한에 따라 소메뉴도 그 권한을 따르도록..  
_writer cafe xe 업데이트 후에도 깨지는것 같은데요.. [4] file 2011.09.09 by _writer
철새와텃새 mv 명령어 사용하기 [6] 2011.09.19 by 철새와텃새
글문 1.4.5.10 버젼 업데이트 이후 발생하는 현상입니다.  
고수군 오늘 오전부터 테스트라고 했는데.. 설치오류가 있네요 [3] 2011.09.08 by XE
고수군 xe dev 1.5.0 이제 root 에서 잘 되네요. [5] 2011.09.07 by 독도2005
SMaker [그림 파일이 많습니다] XE Admin 1.5.0 (# Part 2) [29] file 2011.09.07 by 정찬명
이동철 단락 편집기 이미지삽입에서 회전기능 추가 건의 [7] 2011.09.06 by SMaker