Есть специальные программы, которые делают снимок системы и реестра, до запуска программы, а потом после, и выводят тебе разницу, а потом если захочешь эта же программа сделает откат. Не помню как точно называется она
если требуется что-то деструктивное проверить,то выбор однозначен - виртуальная машина. а так обычно хватает RegMon, FileMon, отладчика и прямых рук =)