1. в шарке надо криптовать файлы *.shark, кажись. и уже после этого собирать сервер.
2. что-бы написать криптор, для начала глянь сорцы уже готовых. ман по формату PE тоже полезная штука
3. из софта нужен обычно только компилятор. дебаггер, и резалка файлов, для поиска сигнатур (AVDevil, SignatureZero и компания) тоже пригодяться
4. на счет детекта - на процентов 80, это сигнатурный поиск. остальные 20 - эвристика. с ней посложнее