скажу что сам изучал и изучаю: dhcp, dns, iptables, proftpd, squid+squidguard, настройка vlan ов, vpn ну и много чего еще, в качестве не почтаря, а транспорта я использую Postfix имхо удобный легко настраиваемый транспорт