포럼
5000만개 이상의 글이 있는 사이트의 XML-Sitemap 생성 방법은 없나요?
2013.05.18 02:14
현재 사용중인 것은k2man님이 공개하신 1.1 버전입니다.
그런데 이게 50000개 이상일 때는 등록하면서 에러가 나네요.
구글에서의 유입이 없어서 확인해보니 그런 문제가 있더라구요.
수정된 2.0을 공개하지 않으셔서 현재로서는 이 문제를 안고 갈 수 밖에 없는데 혹시 다른 방법으로 sitemap을 생성할 수 있는 방법은 없을까요?
다른 고수님들은 이 문제를 어떻게 해결하시는지 궁금합니다.
댓글 10
-
하얀마법
2013.05.18 03:07
푸시아님 늦은 시간에 답변 감사합니다. ^^
현재 사용중인 것은 xml-sitemap 생성 모듈 1.1.1 이구요.
이 모듈이 xml 생성시 수정일이 오류가 나는 현상이 있습니다.
또, 구글 검색엔진에 등록하기 위해서는 단일 파일 50000개 목록만 지원해서 이를 sitemap.xml sitemap0.xml sitemap1.xml 형식으로 분할해서 생성해주어야 하는데요.이게 지원이 안되서 단일파일에 수십만 목록이 생성이 되어버립니다.
그래서 혹시 다른 분들은 어떻게 xml-sitemap 을 생성하시는지 궁금했습니다.
-
모듈을 좀 수정해야되겠네요~
-
하얀마법
2013.05.18 03:09
-
하얀마법
2013.05.18 03:19
-
하얀마법
2013.05.18 05:32
현재 사용중인 모듈입니다.
-
몽실아빠
2013.05.18 22:59
글이 오천만개라면 사이트맵 작성 자체가 아주 힘들텐데요..... 크롤링 하는데 몇일 걸릴 것 같아요.
-
몽실아빠
2013.05.18 23:02
그리고 저는 기존에 제외항목을 넣지 않았는데 오늘부터 index , ?module 단어가 포함되는 url 은 사이트맵에서 제외되게 했습니다. 이유는 어차피 구글 웹마스터도구에 실제로 색인이 되는 부분은 실제 url 주소 정도만 색인이 되는 것 같아 쓸데없는 작업 같아서요. url이 3만건에서 2000건 이내로 줄었네요. 어차피 3만건 제출해도 2천건 이내로 색인이 되니 크롤링도 줄이고 이렇게 하기로 했어요.
-
하얀마법
2013.05.19 05:58
별도의 XML-sitemap 생성기를 사용하면 그런 문제가 있더군요.
시간도 많이 걸릴 뿐더러 index.php나 module 등의 링크로 생성되는 경우도 있구요.
그런데 앞서 링크한 모듈로 만들면 생성시간도 짧아질 뿐만 아니라 링크도 깔끔하게 단축링크로 생성되어서 좋았습니다.
다만 검색봇이 매번 모든 게시물을 클로링하는지 처음에만 하는지는 잘 모르겠어요.
아마도 처음만 모든 문서를 클롤링하고 이후부터는 새로 생성되는 게시물만 크롤링하는 방법이 있지않을까 생각해봅니다.
-
몽실아빠
2013.05.19 11:59
제가 사용하는 사이트맵 생성기가 크롤링하는 방식이라서요. 서버에 직접 설치하는 프로그램인데도 크롤링을 하더라구요.
무엇을 사용하시는지는 잘 모르겠으나 뭔가 등록하면서 에러가 난다면 php 실행 max 시간을 조정해야 하지 않을까 생각됩니다.