트래픽 제한은 mod_throttle를 사용하시면 됩니다.
웹에서 php를 이용하여 서버세팅 물론 가능합니다.

리눅스 서버에서 트래픽 제한하는방법을 알구싶은데요...

서버데몬마다 각각 트래픽을 제한 할 수 는 있는데,
리눅스 서버라 하면.......?
apache...proftpd...sshd...등등의 데몬마다 접속자수나 전송량을 각각 제한 할 수 있습니다..

쉘프로그램이랑 연동해서 호스팅유저를 자동으로 세팅할 수 있나요?

당연히 됩니다..
자동으로...라는 말이 어떤 의미인지는 모르겠지만,
(정해진 시간에 유저를 등록한다는 말인지...등록절차를 간단하게 하겠다는 뜻인지...)
셀 스크립트로 가능하다는건 아시죠?
그렇다면, 셀 스크립트도 파일로 되어 있으니까,
PHP 스크립트와 잘 결합하면 될 것 같은데요..(시도는 해보지 않았지만..)

각 유저별 트래픽을 제한을 한다는 말씀이시죠..
아파치에서 하는 방법은.. VirtualHost 부분중..

ThrottlePolicy Volume 600M 1d ==> 이부분 입니다.
하루 트래픽을 600M 로 제한을 한다는 것이죠..


<VirtualHost 123.124.125.126>
ServerAdmin wembaster@abc.com
DocumentRoot /home/test/public_html
ServerName abc.com
ThrottlePolicy Volume 600M 1d
</VirtualHost>