p0f - Passive OS Fingerprinting.
С помощью nmap можно определять, по-моему, с использованием зомби-хоста (опция -sI). Кроме того, с nmap-ом поставляется файл nmap-os-fingerprints. Можно взять данные оттуда