먼저 원하는 위치는 크롬등을 이용해서 검사 또는 요소검사를 하시면 정확한 위치를 파악하실 수 있을겁니다.

일단 사이트 관리로 발을 들여놓은 이상 요소검사 정도를 할 줄 알아야 합니다.

그럼

1. 이게 홈페이지 상에서 관리자 모드로 들어간 뒤에 하는건지 아님 파일질라같은 프로그램으로 서버상에 올려놓은

파일에다가 하는건지 궁금합니다. 

->파일질라로 업데이트 하세요. 레이아웃 편집에서 수정하는 방법도 있지만 나중에 관리시 어디에서 어떻게 수정했는지 파악이 힘듭니다. 관리를 위해서라면 파일질라에서 직접 수정하고 업데이트 하기를 권해드립니다.

2. 그리고 서버상에 올려놓은 css를 수정하는 것이라면 구체적으로 어떤 폴더에 있는 css를 어떻게 수정해야 할까요? 

->www/layouts/사용하시는 레이아웃폴더명/css 폴더를 여시면 파일이 있을겁니다.