전체 공개된 게시글만 수집할 수 있습니다. 즉, 특정 문자를 입력해야 볼 수 있는 글이나, 관리자만 접속이 가능한 게시판의 글은 수집하지 못합니다(검색봇은 관리자가 아니고, 검색봇은 일반적으로 자바스크립트를 읽지 않습니다)
확인이 하고 싶으시다면 먼저 Search Console( https://www.google.com/webmasters/tools/home )에서 사이트 등록을 한 뒤, https://www.google.com/webmasters/tools/googlebot-fetch Fetch as Google 기능을 이용해서 구글봇이 어떤 형태로 읽는지 확인 가능합니다.
전체 공개된 게시글만 수집할 수 있습니다. 즉, 특정 문자를 입력해야 볼 수 있는 글이나, 관리자만 접속이 가능한 게시판의 글은 수집하지 못합니다(검색봇은 관리자가 아니고, 검색봇은 일반적으로 자바스크립트를 읽지 않습니다)
확인이 하고 싶으시다면 먼저 Search Console( https://www.google.com/webmasters/tools/home )에서 사이트 등록을 한 뒤, https://www.google.com/webmasters/tools/googlebot-fetch Fetch as Google 기능을 이용해서 구글봇이 어떤 형태로 읽는지 확인 가능합니다.