если требуется что-то деструктивное проверить,то выбор однозначен - виртуальная машина. а так обычно хватает RegMon, FileMon, отладчика и прямых рук =)