XE는 없는 모듈일때 메인페이지로 가버리죠.

원래 있었는데 없애버려도 메인페이지로 가버립니다.

근데 간혹 메인페이지로 가지않고 404 Not Found를 띄우고 싶을 때가있습니다.

진정한 검색엔진 구글 때문인데요.
오래 전에 검색로봇이 읽어가서 검색결과가 나오는데 그 결과를 없애기위해서 모듈을 없애고 웹마스터툴에서 URL 삭제요청을 하는데 거부되어 안지워지는 녀석들이 있습니다.

URL 삭제 요청의 조건은

 1. 페이지에서 404/410을 반환하거나
 2. robots.txt로  페이지를 차단함
 3. 또는 noindex 메타태그가 페이지를 차단함

정도인데..

noindex 는 뭔지 모르겠고.

robots.txt는

rewrite 되어 document_slr이 직접 찍힌 http://domain.kr/1234 같은 URL은 개별적으로 차단할 수가없습니다.
이걸 크롤링차단하기위해서는 사이트 자체의 크롤링을 모두 막아버려야하죠.

그래서 모듈숨기기 애드온을 살짝 고쳐서 외부페이지 모듈을 이용해 404 Not Found 페이지를 임의로 만들어 그쪽으로 돌려봤습니다.

http://sanghoon.kr/trash
위 주소처럼 나오도록 한건데요.

이게 404 Not Found 페이지의 요건을 충족한건지 의심스럽습니다.

이런식으로 404를 띄워도 구글봇은 404로 인식하지 않는것으로 생각되거든요.

크롤링로봇이 이 404 Not Found 페이지의 어느부분을 읽어서 "없어졌군"하고 인식하는건지 원리를 몰라서그런데 그게 궁금합니다.