Возможно просто system() запрещено настройками, пробуй passthru(), open_basedir(), exec() и т.п. . А вообще хороший вариант попробовать include() своего шелла, а там уже посмотришь какие функции отключены, да и удобнее.