묻고답하기
ob_gzhandler 대신 zlib.output_compression 사용 #1631 과 신디케이션
2015.08.27 09:45
최근 신디케이션 핑도 정상이고 신디케이션으로 문서수신 카운트도 정상이지만 네이버 검색에 색인이 되지 않는 현상이 있어 가능성을 이것 저것 다 따져보다 도저희 연관성이 있는게 없어 혹시나 해서 이게 영향을 주는건 아닌가 해서 글을 올려 봅니다.
검색도중 gzip을 사용하면 신디케이션에서 해석을 못해 검색반영이 안된다는 글을 본거 같은데요.
저는 define('__OB_GZHANDLER_ENABLE__', 0);
를 사용중 입니다.
https://github.com/xpressengine/xe-core/pull/1631
위 PR을 적용한 후 네이버에 검색결과가 반영이 안되는 건 아닌가 하는 생각이 들어서요.
혹시 영향을 줄 수 있는 부분인지 궁금하네요.
*** 그런데 아주 신기한점은 게시판의 문서가 아닌 위젯이나 페이지에서 작성된 문서는 네이버에서 정확하게 색인하여 검색결과에 노출이 되고 있습니다. ****
ps.오늘 다시 pr을 적용하지 않고 신디케이션으로 전송받은 문서들을 제대로 색인을 해서 검색에 노출이 되는지 모니터링 하고 있습니다.
댓글 11
-
몽실아빠
2015.08.27 10:47
그렇군요. 감사합니다. 다른 원인을 찾아봐야겠습니다. 그런데 쉽지 않을듯해요 ㅡㅡ;
네이버고객센터가 지금은 운영되지 않지만 과거 답변으로 gzip 사용으로 인해 xml을 해석하지 못해 검색을 반영하지 못한다는 답변이 있었어요.그리고 제가 gzip을 사용안하게된 이유는 사용을 하면 구글의 피드버너측에서도 피드해석중 오류로 인해 피드버너를 사용하지 못하는게 이유였답니다.
네이버의 검색로봇은 생각하시는 것보다 많이 멍청할 수도 있습니다 ㅋ
-
몽실아빠
2015.08.27 16:52
PR 적용 철회 후 다시 첫 문서가 색인 되었습니다.
이게 아마 신디케이션봇의 오류일 수도 있습니다. 제가 분석할 능력은 되지 않구요. 어찌 되었던 제가 테스트를 해 본 결과를 이러한 현상이 있다라고 피드백 드리는 정도로 봐주세요.
7월 23일 이후로 전혀 새로운 글들이 신디케이션으로 네이버에서 새글이 있음을 수신하였지만 무슨 이유에선지 해당 글에 대한 색인이 이루어지지 않았습니다. (게시글 정보분석이 되지 않은 것으로 추측이 됩니다만....)
새글이 전혀 색인이 되지 않는 한달간의 기간 동안에도 신기한건 위젯페이지 같은 곳에서 작성된 문서는 신디케이션으로 연동되어 일정시간이 지나면 즉시 색인되어 노출이 되었습니다.
한달 동안 있었던 일을 기억해 가며 혹시나 하는 맘에 이 PR을 적용했던 것을 해제해 보았는데 우연인지 한달넘게 글이 색인되지 않던게 색인이 되었네요.
PS.이렇게 노출되었다가 이내 사라지는 경우도 있으니 모니터링 더 해보고 변화가 있으면 다시 알려드리겠습니다. 뭐 제가 얼려드리는 내용은 특별한 것을 요구하거나 요청드리는 것은 아닙니다.
-
꾸링
2015.08.27 19:35
문의하신 사이트를 확인해 보았는데요,
여전히 신디케이션 연동장비가 연동정보를 수신하지 못하고 있습니다.
확인해본 결과 연동정보 요청 시 gzip으로 압축하여 전송하고 있는 것 같습니다.
일반브라우저에서는 확인 가능하지만 연동장비는 데이터 수신이 불가능합니다.
연동장비가 XML을 정상적으로 수신할 수 있도록
수정해 주셔야 연동이 가능한 점 양해 부탁드립니다. -
꾸링
2015.08.27 19:32
약 1년전이긴 하지만 네이버 색인이안되서 수차례 문의 한 끝에 gzip문제로 신디케이션 동작이안되서 끈적이있습니다 요새는 모르겠네요 -
이 시각 현재 pomelove.com 사이트에 접속해 보니 게시판 글과 일반 페이지 모두 gzip 인코딩이 되어서 나옵니다. 개발자도구에서 응답 헤더를 확인하면 Content-Encoding: gzip이라는 내용을 볼 수 있습니다.
즉, XE에서 gzip 옵션을 켜든 끄든, 압축 방식을 바꾸는 PR을 적용하든 안 하든 상관없이, 님 서버에서 자동으로 압축을 적용하고 있을 가능성이 있어요. 요즘 대부분의 웹서버는 압축을 기본으로 지원하니까요.
서버에서 자동으로 압축을 하는데 XE단에서 또다시 압축을 시도할 경우 일부 검색로봇과의 호환성 문제가 발생할 수 있는지 알아볼 필요는 있겠습니다.
-
몽실아빠
2015.08.27 17:09
네. 저희 사이트는 XE에서 gzip을 또 사용하면 문제가 생겨요. 예를 들면 피드버너에서 저희 rss를 분석하지 못합니다. 여기 공홈도 마찬가지에요.
http://feedvalidator.org/check.cgi?url=https%3A%2F%2Fwww.xpressengine.com%2Frss
이런식으로요. 그래서 저걸 해결하기 위해 XE에서 제가 gzip 옵션에서 사용안하는 거로 해서 운영을 했었습니다.
그런데 우연인지 PR 적용 후 신디케이션 색인이 되지 않는 상황이 벌어진 듯 합니다.
-
그냥 아파치 자체에서 gzip을 사용할 때는 문제가 없고요?
그럼 그냥 gzip 꺼놓고 쓰세요 ^^ 어차피 PHP단에서 압축 돌리는 것보다는 웹서버단에서 돌리는 것이 더 효율적입니다. 사실 PHP단에서 압축하는 건 웹서버에서 gzip을 잘 처리해 주지 못하던 예전에 생던 기법이고, 최신 서버에선 필요가 없죠...
-
몽실아빠
2015.08.27 17:30
네. 일단 신디케이션 문제가 요렇게 일단락 되면 원래처럼 쓰려구요. 서버 세팅해주신분이 초기에 제가 피드버너 문제를 해결요청드렸을때 XE에서 gzip 사용하지 말라고 하셔서 그렇게 운영하고 있었어요.
-
서버가 gzip을 지원하는 것이 분명한 경우 XE에서는 기본으로 gzip을 사용하지 않도록 하는 방법도 고려해 봐야겠네요.
-
몽실아빠
2015.08.27 19:48
아.... PR과 상관이 없는 것으로 확인 되었니다. 무슨 이유인지 네이버에서 저희 사이트 게시판의 문서를 일정 시간 지나면 색인에서 지워버리는 듯 합니다.
위젯페이지 문서 제외하고 색인 되었던 문서다 다 사라졌네요.
애초에 define('__OB_GZHANDLER_ENABLE__', 0); 해놓고 쓰신다면 아무 차이가 없습니다. 예전 방식이든 PR에서 제안한 방식이든, 그 옵션을 꺼두면 gzip 압축이 적용되지 않는 것은 마찬가지니까요.
게시판만 색인이 안되고 다른 페이지는 정상적으로 색인된다면 gzip이 아니라 다른 부분에 문제가 있을 가능성이 높습니다. 아무리 검색로봇이라도 gzip조차 처리하지 못할 만큼 멍청할 것 같지도 않고요...