Тут пожалуй стоит взглянуть на работу аверов(как вариант).Видел как работает проактивка?
Хукаются наиболее часто используемые функи,ну а далее уже кубатурим - либо запрет на запись либо нет(выводим мессадж и.т.д).
Что делает винлок?Запись в реестр-тут к бабке не ходи,она будет.Хукаем все записи на низком уровне (в ntdll например).
По мимо реестра винлок еще много где следит.Создает окна на весь эран.А это тоже вызов определенной API с определенным параметром и это всё тоже можно хукнуть и проанализировать.