А мне кажется проблема не с ОС или ОЗУ, а с этой программой просто-напросто.
Как вариант - увеличить файл подкачки, ибо винда всё равно тупо использует ОЗУ, даже если там есть место все равно по каким-то непонятным причинам скидывает что-нить в свап.