ох,когда ж вы уже поймете,что взлом чего-либо это не открыл программу и ты уже в чужой системе,это симбиоз знаний различных областей:СИ,пентест и так далее...
В твоем случае советовал бы начать со скана портов на сервере,в случае нахождении уязвимых можно уже проводить атаку на удаленный сервер,если сервер не очень большой то,может быть и администратор там лет 14-ти,то тут уже можно просто СИ обойтись