Способ определения OC (сервисов) на удаленном хосте называется (OS) Fingerprint и основывается в большинстве случаев на снятии информации с баннеров (banner grabbing) и "опроса" TCP/IP стека. Нередко эта информация может быть изменена (ещё один плюсик в сторону Open source), так же имеет место быть ложная генерация баннеров , наряду с настройками фаервола.
Порой для более удачного определения/использования nmap-ом иногда необходимо применять опцию -f, что представляет собой метод обхода фаервола за счет разделения пакетов на несколько частей.
OS fingerprint так же может осуществляется с помощью анализа запущенных сервисов.
http://nmap.org/osdetect/ "Remote OS Detection using TCP/IP Fingerprinting"