ну, если ТС не хочет использовать никаких прог, и готов только головой и ручками, тогда как в древности )
Пробуй различные сервисы (телнет, фтп, тд) смотри ответы и приглашения, пытайся вызывать различные ошибки и находить инфу там...

Но кажется проще так:
p0f v2
Исключительно пасивный сканер, как раз для определения ОС на удаленной машине.
к сожалению урл я потерял, так, что гугл... ))

ну и Nmap, THC-Amap и прочие...