Просто изначально vmware невидит устройства подключенные к последовательному порту, т.е. нужно добавить порт на котором модем висит:
1. Зайди в диспетчер устройств (правый щелчок на Мой компьютер --> управление --> Диспетчер устройств),
там найди свой модем и в свойствах на вкладке Общие видно на каком он порту (У меня вроде так было-->Размещение: Последовательный порт (COM1)).
2.Далее заходи в vmware --> VM --> Settings --> Hardware --> Add... и если у тебя также к COM порту подключен, то выбери Add a serial Port.
3.В диалоговом окне укажи порт, в моем случае был COM1.Далее нажимай Finish... Вот и все!
4.Теперь запускай гостевую ОС (модем при этом должен быть включен), появится всплывалка что найдено новое облорудование,
также ставишь дрова как и в реальной ос, и теперь также подключаешься к инету...