Скачиваешь себе какой-нибудь сканер, где есть функция определения OS. Таких прог туча. Например кульная прога Shadow Scan. В ней есть все необходимые модули для хака. Также есть прога nmap (для *NIX). Тоже очень полезная, имеет множество фич. Даешь адрес хоста, и все... На этом проги не останавливаются. Рассмотрим на примере работы Shadow Scan. Прога находится в модуле SANT. Называется Site Info. Вводишь адрес и получаешь не талько OS, но и Web Server и кучу полезной инфы (ftp server,SSH,HTTP,DNS,PROXY,TELNET,IMAP и т.д.), которая,кстати,тебе пригодится.