사이트맵은 작성하지 않았다면 빈 칸으로 비워두시면 됩니다.

로봇을 작성하지 않으면 모든 검색을 허락한다는 겁니다.

로봇을 작성해서 내 사이트 내에서 허락할/허락하지 않을 폴더/파일들을 설정해서

원치않는 검색을 차단하는데 목적이 있습니다.

물론 이건 어디까지나

약속을 지키는 것에 한해 유효한 것이고

어떤 것들은 이런 약속을 지키지 않고 마구 긁어 갑니다.

많은 사람들이 로봇이 뭔지도 모르고 작성도 안합니다.

검색에 노출되지를 않기를 원할때 보통 작성을 합니다.

단,

그래도 작성을 해 놓으면(모든 것을 허락해도)

로그파일에 오류가 작성되는 것은 안생길겁니다.(100% 정확한 정보라 확신 못함)

위 이미지에 대해서 말하자면

제한을 둘 폴더나 파일이 있으면

아랫쪽에 그 path을 넣어주시고 그렇지 않으면 빈 칸으로 남겨두세요

sitemap을 작성했으면 그 주소를 넣고 아니면 빈 칸으로 남겨두세요

검색로봇들을 모두 허락할 경우

일일이 하나씩 allowed를 선택해도 되지만

그냥 기본값 same as default 를 두고 (원래 기본으로 선택되어져 있음)

상단에

default all robots are 에서 allowed 를 선택하면 됩니다.

코드를 생성해서

반드시 robots.txt파일을 작성해서 그 속에 코드를 넣고

반드시 루트에 넣어야 합니다.

다른 곳에 넣으면 아무런 영향을 미치지 않습니다.

예를 든다면 http://홈페이지/robots.txt

이렇게 경로가 잡혀야 겠죠.........