в винде вместо server.conf используется server.ovpn, в нём должно быть то же, что и в server.conf, вообще все конфиги в винде для опенвпн имеют расширение *.ovpn, они автоматически распознаются openvpn gui если его использешь и появится новое выпадающее меню в трее при клике на значке
то есть если у тебя всё работало в никсах, просто копируешь серты и конфиги и меняешь их расширение на *.овпн