Ну для начала, если хочешь сделать криптор, тебе нужно без проблем писать на ассемблере, очень хорошо знать структуру исполняемых PE файлов(как расположены таблици, относительно чего берется смещения этих таблиц, какие типы секций существуют и т.д.)